← → 翻页 · ESC 索引
GitHub Repo · xai-org/x-algorithm
Vol.01
Open Source · 2026.05.15

X 算法

For You Feed 推荐系统开源仓库速读

这不是一个排序公式仓库,而是一套从候选召回、内容理解、Transformer 排序,到广告混排与服务编排的推荐系统样本。

Apache-2.0·Rust + Python / JAX·commit e414c17
X For You Algorithm · Repository Analysis
01 / 08
Repository · Surface Area
02 / 08
先看体量

216 个文件

仓库主体由 Rust 服务编排与 Python/JAX 模型代码组成,另有约 3GB Phoenix 模型 artifact 通过 Git LFS 分发。

Rust
139
home-mixer / thunder / candidate-pipeline
Python
68
phoenix / grox 内容理解与模型推理
Code Lines
24.9K
约 14.5K Rust + 10.4K Python
Main Modules
5
Home Mixer / Thunder / Phoenix / Grox / Pipeline
Corpus
537K
demo sports posts, 6 小时窗口
License
Apache
Apache License 2.0
统计来自本地 clone 与 README
02 / 08
Core Idea · From Heuristics To Model
03 / 08
关键转向

少写规则,
多让模型理解。

README 明确说:系统消除了每一个手工内容相关特征和大部分启发式逻辑,让 Grok-based Transformer 从用户互动序列里学习相关性。

For You 不是单一排序器。它是候选源、过滤器、hydrator、scorer、selector 和 side effects 的组合系统。
Repository Reading · README
In-Network
Thunder
从关注账号里取近期内容,强调低延迟。
Out-of-Network
Phoenix
用双塔召回从全局语料里发现内容。
Ranking
Grok
预测多种互动概率,再组合成最终分数。
Core Shift · Model-led Recommendation
03 / 08
Pipeline · Request To Feed
04 / 08
一条请求怎么变成信息流

七段式流水线

For You Feed Pipeline
01
Query Hydration
补用户历史、关注、屏蔽、served history 等上下文
02
Sources
Thunder / Phoenix / Ads / Wtf / Prompts 等候选源
03
Candidate Hydration
补帖子、作者、媒体、互动、品牌安全等特征
04
Filtering
去重、年龄、本人内容、屏蔽/静音、可见性过滤
Scoring And Serving
05
Scoring
Phoenix 预测互动概率,Weighted / OON / Diversity 调整
06
Selection
按最终分数排序,Blender / Top-K 选出要展示的候选
07
Side Effects
写 Kafka、更新缓存、served history、统计与广告日志
Pipeline Framework · candidate-pipeline/
04 / 08
Architecture · Five Blocks
05 / 08
仓库分层

五个模块

home-mixer
推荐流编排层:gRPC 服务、候选源、filters、scorers、ads、side effects。
phoenix
JAX 推荐模型:双塔召回 + Transformer 排序 + 可运行 pipeline。
grox
内容理解服务:spam、post safety、reply ranking、embedding、ASR 等任务。
thunder
实时 Kafka ingestion 与内存帖子库,为 in-network 内容提供低延迟候选。
candidate-pipeline
抽象框架:Source / Hydrator / Filter / Scorer / Selector / SideEffect。
Module Map · Repository Structure
05 / 08
Phoenix · Retrieval And Ranking
06 / 08
模型核心

Phoenix 是两段式推荐模型

第一段用 two-tower 把百万级候选缩到几百;第二段用 Transformer 对候选逐个预测 favorite / reply / repost / click / dwell 等多行动概率。

最值得注意的是 Candidate Isolation:候选可以看用户与历史,但候选之间不能互相 attention。这样单条内容的分数不依赖同批次里其他内容,更稳定,也更利于缓存。

Mini config:128 embedding dim、4 transformer layers、4 heads、history 127、candidate 64、19 action types。
phoenix/README.md
Retrieval
Top-K
User Tower x Candidate Tower dot product
Ranking
19
多行动概率预测,不是单一 relevance
Demo
run_pipeline
从 artifacts 直接跑 retrieval 到 ranking
Phoenix · Grok-based Transformer
06 / 08
What It Reveals · Product Philosophy
07 / 08
真正的信息

X 的推荐系统,正在从规则工程转向行为序列建模。

开源内容展示的是系统骨架与小模型快照,不等于完整线上生产系统;但它清楚暴露了方向:实时互动数据、内容理解、候选隔离排序、广告安全混排,正在被统一到同一条 pipeline。

Interpretation · Not Just Code
07 / 08
Takeaway · How To Read This Repo
08 / 08
读仓库的正确姿势
不要把它看成公式。把它看成一张信息流工厂蓝图。

重点看四件事:候选从哪里来、用户上下文怎么补、模型预测哪些行为、最终如何过滤与混排。掌握这四层,基本就抓住了 X For You 算法的主干。

Recommended Reading OrderREADMEtophoenix/READMEtohome-mixertogrox
End · xai-org/x-algorithm
08 / 08