用8个手工token拆开MiTA的池化、可复用top-k专家、共享压缩、路由与联合softmax，区分公式算例和论文实证。
这份教程对应Wen等的 Mixture-of-Top-k Attention: Efficient Attention via Scalable Fast Weights，固定阅读v6（2026年9月27日）。
先看一次标准Q/K/V计算，再把attention理解为输入依赖的fast-weight网络，随后分解压缩、路由与可复用专家。8个手工构造的token可以逐步查看landmark平均池化、全局打分、top-k候选、共享value、query路由，以及最终的联合softmax。
可以切换query、调整m和k，查看两部分权重怎样共同加到1，并与同一组向量的dense输出比较。另有相似度打分计数器，明确计入候选探测；计数不等于GPU耗时，向量输出差距也不是模型准确率。
实验证据单独列出视觉分类、分割、LRA与合成长序列吞吐的设置和结果。源码与论文公式的共享温度差别、直接替换与微调的区别，以及保留共享项时不保证严格恢复dense的算术反例，都放在最后一章供继续核对。
页面使用深绿与纸色、桌面20px和手机18px正文，包含8道自测，可以下载单文件离线使用。本页没有运行论文训练或性能复现。
最后更新时间：2026/11/1 04:22:00
这是一篇公开日记，不开放评论。