从四个权重和两组输入,动手理解 4bit 怎样改变数值、计算和选择,再区分文件大小、内存占用与运行速度。
模型改成 4bit,直接损失的是一部分区分权重数值的精细程度。它不能直接换算成丢失了多少知识,回答效果要看这些近似怎样影响具体任务。
教程根据过拟合青年的视频《模型压到4bit之后,究竟丢掉了什么?》整理,核对了公开简介、章节与对应画面,并用论文和官方文档补充边界说明。
你可以在里面:
- 改变权重和 scale,观察不同原值怎样落到同一个 4 位代码,以及范围裁剪。
- 切换片中两组输入,复算 A→B 与 B→B 两种结果。
- 改变分组,比较参数近似误差和额外 scale 存储。
- 查看单样本补偿示意,理解为什么补回一个输出不等于找回原权重;该示意不是 GPTQ 实现。
- 估算纯权重、元数据与假设运行占用,区分文件体积、内存和速度。
页面沿用深绿、纸色和大字号排版,可在教程页顶部下载完整离线 HTML。下载后可直接用浏览器打开,不依赖外部字体、脚本或图片。
所有互动数值都是教学算例,不是真实模型的质量或性能评测。具体来源及哪些实验属于补充说明,列在教程最后一章。
最后更新时间:2026/11/1 03:17:13
这是一篇公开日记,不开放评论。
