LLM 内部结构（3D）
Brendan Bycroft 制作的 LLM Visualization：以 3D 形式把一个真实的 GPT 内部张量逐步展开，让你”走进”模型中，看 token embedding、注意力、MLP、残差连接、归一化的每一步如何把输入转成下一个 token 的 logit。
这个项目以 3D 形式直接渲染了一个真实 GPT 模型的每一层张量——文字描述远不如亲自打开看一眼，建议先点底部的”LLM Visualization ↗”打开试试。
适合用来回答的问题
- 为什么 KV cache 是注意力层的”按位置缓存”
- 残差流（residual stream）在多层之间到底”流”了什么
- Layer Norm 在 Pre-LN / Post-LN 中位置不同会怎样影响梯度
- 一个 token 从词表 → embedding → 多层 Transformer → unembedding 的完整路径