iwxt 日记本
交互教程 每日打卡 公开日记

4bit 模型量化:压小之后,丢掉了什么?

iwxt · 2026 年 11 月 1 日 · 大模型、量化、交互教程

← 返回主页日记正文

从四个权重和两组输入,动手理解 4bit 怎样改变数值、计算和选择,再区分文件大小、内存占用与运行速度。


模型改成 4bit,直接损失的是一部分区分权重数值的精细程度。它不能直接换算成丢失了多少知识,回答效果要看这些近似怎样影响具体任务。

打开《4bit 模型量化》交互教程 →

教程根据过拟合青年的视频《模型压到4bit之后,究竟丢掉了什么?》整理,核对了公开简介、章节与对应画面,并用论文和官方文档补充边界说明。

你可以在里面:

  • 改变权重和 scale,观察不同原值怎样落到同一个 4 位代码,以及范围裁剪。
  • 切换片中两组输入,复算 A→B 与 B→B 两种结果。
  • 改变分组,比较参数近似误差和额外 scale 存储。
  • 查看单样本补偿示意,理解为什么补回一个输出不等于找回原权重;该示意不是 GPTQ 实现。
  • 估算纯权重、元数据与假设运行占用,区分文件体积、内存和速度。

页面沿用深绿、纸色和大字号排版,可在教程页顶部下载完整离线 HTML。下载后可直接用浏览器打开,不依赖外部字体、脚本或图片。

所有互动数值都是教学算例,不是真实模型的质量或性能评测。具体来源及哪些实验属于补充说明,列在教程最后一章。

查看全部交互教程 →