从零开始 · 10章可操作图解
Honeycomb-Surfels:一片六边形怎样表示表面
想从新的角度看一个场景,需要先用某种小零件表示它。Hexels把零件做成带软六边形边界的表面片,并允许一片之内的颜色平滑变化。先把这个零件看懂,再讨论它在什么预算下更划算。
本页用手工几何与数值图解释机制,没有加载作者模型或运行训练。最后一章单独标出论文报告数据与比较条件。先理解图中一个变化,再向下一章走。
第1 / 10章
1. 换一个视角,为什么还要重新成像?
照片是一幅特定相机下的图像;三维表示要能在相机移动后重新计算每个像素。
把图里的变化说清楚
Rendering(渲染)是根据场景表示与相机,计算一幅图像。Novel-view synthesis(新视角合成)是从没有直接拍到的相机位置生成视图;它不等于把原照片平移一下。
Primitive(图元)是组成表示的基本零件。这里不要求先懂神经网络:可以先想成很多有位置、朝向、大小、颜色的小表面片。场景训练用已知相机的照片调整它们,渲染时从新相机读取这些片。
图中只有一片人工设置的平面。移动相机,观察投影形状怎样改变;它是几何示意,不是重建出的真实场景,也不代表模型已经处理了照明、透明物体等所有问题。
对照公式与符号
先用上图确认各个量的含义,再读这组关系;术语按钮可回查定义。
用一个判断检查理解
本章依据:§1、§3 方法概览 · 原文定位。图与中文讲解为本站原创教学表达;报告值不来自本页实测。
第2 / 10章
2. Surfel:三维里放一张有朝向的小片
“2D表面片”中的2D说的是片内坐标,不表示它只能待在二维图片里。
把图里的变化说清楚
Surfel是局部表面元素:用一个中心、两条面内方向和大小,表示三维中的一小块近似平面。法向垂直于这个面。整张弯曲表面可以由很多不同朝向的小片近似,而不是一片自动弯过去。
Hexel的局部坐标(u,v)没有长度单位;su、sv把它们缩放到实际大小,tu、tv是单位切向。两方向正交。先按局部位置移动,再放到三维中心p,就得到空间中的点。
图中的标准六边形可以非等比拉伸。因此世界里不一定仍是正六边形;独立小片也不保证整齐拼成无缝蜂窝或封闭网格。
对照公式与符号
先用上图确认各个量的含义,再读这组关系;术语按钮可回查定义。
用一个判断检查理解
本章依据:§3,式1、图2 · 原文定位。图与中文讲解为本站原创教学表达;报告值不来自本页实测。
第3 / 10章
3. 软边界:里面更有影响,外面逐渐变弱
Hexel并不是把六边形外侧一刀切成完全没有贡献;边界是一条平滑的权重过渡。
把图里的变化说清楚
先计算d:三个绝对值中最大的一个,再减1。d<0在标准六边形内,d=0在边界,d>0在外。它是边界函数,顶点外侧附近不能当成严格的欧氏有符号距离。
把−βd送进sigmoid:σ(a)=1/(1+e^(−a)),就得到0到1之间的权重K。β越大,过渡越陡;但d=0时总是K=1/2,边界位置不变。中心K=σ(β),不是数学上恒等于1。
点击热图或改u、v,查看某点的三个中间量。图中黑线是K=1/2的固定轮廓。真实光栅化会截掉小到可忽略的贡献,不能把绘图窗口外没有显示理解为公式突然变0。
对照公式与符号
先用上图确认各个量的含义,再读这组关系;术语按钮可回查定义。
用一个判断检查理解
本章依据:§3,式2–3;附录A · 原文定位。图与中文讲解为本站原创教学表达;报告值不来自本页实测。
第4 / 10章
4. 一片内部,也可以从一种颜色变到另一种
若一片只能在某个视角给出一个颜色,表示平滑渐变往往需要叠很多片。
把图里的变化说清楚
一阶空间颜色场在中心RGB c0上,加u方向的颜色变化u·gu与v方向变化v·gv。RGB就是红、绿、蓝三个通道;gu、gv各有3个数,描述沿局部坐标变化时各通道增减多少。
“一阶”表示这里使用常数加线性项,不是说颜色只能有两个值。固定位置u,v后可以算出一组RGB;一片上的不同位置会有不同颜色。光滑曲面或纹理边缘仍可能超出这一小模型的表达能力。
V2/V3另有视角相关项:同一相机下,它对整片加同一个RGB偏移;它不等同片内渐变。图用手工系数演示V2。这里只把3D局部面展开成画布;论文的2D图像实验另用图像坐标颜色与top-10加权平均,不是同一个3D合成流程。
对照公式与符号
先用上图确认各个量的含义,再读这组关系;术语按钮可回查定义。
原模型单图元颜色不做RGB钳制。屏幕显示需裁到0–1,本页同时列出公式原值以免混淆。
用一个判断检查理解
本章依据:§3,式4;附录A.1、D · 原文定位。图与中文讲解为本站原创教学表达;报告值不来自本页实测。
第5 / 10章
5. 先求射线落点,再读该处的颜色
一个像素该从小片的哪里取颜色?不能只用小片中心的颜色代替所有位置。
把图里的变化说清楚
相机像素定义一条射线O+λD。把它与小片所在平面求交,得到三维交点P,再把P转成片内u、v。这样改变视角后,仍是在同一个表面位置读取空间颜色。
若射线几乎平行于平面,分母接近0,交点不稳定;交点在相机后面时也不应作为正向可见命中。求到平面交点之后,还要用Hexel支撑函数判断该位置贡献有多大。
改变图中的像素与小片倾角,逐步看“射线→交点→局部坐标→颜色/alpha”。此处核对的是几何与局部公式,不模拟作者CUDA光栅器的全部裁剪、分块和排序细节。
对照公式与符号
先用上图确认各个量的含义,再读这组关系;术语按钮可回查定义。
用一个判断检查理解
本章依据:§3 Splatting;附录B · 原文定位。图与中文讲解为本站原创教学表达;报告值不来自本页实测。
第6 / 10章
6. 多片叠在一起:前面剩多少,后面才能贡献多少
近处的片不一定完全遮住远处,但不能让每一层都独立占满100%的颜色。
把图里的变化说清楚
每片在该像素的alpha为min(o·K,0.99)。从前往后合成时,前面留下的透过率T乘当前alpha,才是当前片的颜色权重;最后剩余份额交给背景。
例如前片alpha=0.6,后片alpha=0.5:前片占0.6,后片只占(1−0.6)×0.5=0.2,背景占0.2。三者总和为1,而不是把两个alpha直接相加。
图中直接指定取样处的alpha,便于专心看混合。真实实现还会丢弃小于1/255的alpha,并按tile中图元中心深度排序;不是每像素重新按交点深度排序。
对照公式与符号
先用上图确认各个量的含义,再读这组关系;术语按钮可回查定义。
用一个判断检查理解
本章依据:§3;附录B · 原文定位。图与中文讲解为本站原创教学表达;报告值不来自本页实测。
第7 / 10章
7. 与2DGS比较,先分开形状和颜色
2DGS同样在三维里放有方向的平面片。Hexels不是把一个普通二维绘图工具突然变成三维。
把图里的变化说清楚
两者都采用平面surfel、透视正确的射线求交与alpha混合。主要区别包括:Gaussian空间核换成六边形软支撑,以及固定视角下每图元空间常色,换成片内一阶颜色。
下图把核函数与颜色变化分开切换。Gaussian轮廓的权重为exp(−(u²+v²)/2),Hexel用前面学到的sigmoid边界。相同局部尺度不等于相同有效面积或公平训练预算,因此不能把这张教学热图的外观当性能结论。
多个常色Gaussian的混合仍然可以形成渐变。Hexels想减少的是表达平滑区域时所需的冗余,而不是宣称2DGS完全画不了渐变。Hexels独立优化、允许重叠,不自动给出无缝封闭网格。
对照公式与符号
先用上图确认各个量的含义,再读这组关系;术语按钮可回查定义。
教学核函数图未训练任何模型,也没有控制作者实验中的模型内存/图元上限等条件。
用一个判断检查理解
本章依据:§2–3;附录G · 原文定位。图与中文讲解为本站原创教学表达;报告值不来自本页实测。
第8 / 10章
8. 为什么能用更大片,也为什么不能无限放大
一片已经能表示局部渐变,就不必为每个微小颜色变化另加一片;但一阶模型也有边界。
把图里的变化说清楚
把一个平滑颜色函数在片中心附近近似:常色只保留中心值,一阶场还保留两个方向的变化率。目标恰好线性时,一阶场可以精确表达;出现曲率时,还会留下二次等高阶误差。
下面的目标函数是人为给定的单通道例子,中心与梯度也直接已知,没有运行优化器。扩大区域或增加曲率,观察常色与一阶近似的误差怎样变化。纹理断边、几何弯曲等真实复杂性通常需要更小、更多的片。
论文从带标定相机的训练照片优化位置、方向、支撑与颜色。多数主要结果采用固定图元数量;另有增长与裁剪设置。可平铺的六边形是设计动机,不保证任意曲面、任意频率纹理都最优。
对照公式与符号
先用上图确认各个量的含义,再读这组关系;术语按钮可回查定义。
用一个判断检查理解
本章依据:§3 Training;附录G · 原文定位。图与中文讲解为本站原创教学表达;报告值不来自本页实测。
第9 / 10章
9. 同一个名字,也可能有不同参数预算
V1、V2、V3的颜色能力不同,不能把最好质量和最小内存任意拼成一行。
把图里的变化说清楚
V1有20个学习标量:几何与支撑11个,空间颜色9个。V2加9个线性视角系数,总29个。V3使用45个非恒定球谐系数替换V2视角项,总65个。四元数存4个数,即使归一化约束会减少独立自由度,存储仍按4个计。
FP32每个数4字节,因此每图元的启用学习字段分别为80、116、260字节。论文比较的2DGS为58个标量、232字节;V3每图元甚至更多。图元总数也会变,所以不能只看每图元参数推整模型大小。
模型学习参数、导出文件、训练峰值VRAM是不同量。训练还需要梯度、优化器、渲染缓存等。下图只算明确的启用FP32学习字段,不把它当完整checkpoint或峰值显存。
对照公式与符号
先用上图确认各个量的含义,再读这组关系;术语按钮可回查定义。
用一个判断检查理解
本章依据:附录A、E.4 · 原文定位。图与中文讲解为本站原创教学表达;报告值不来自本页实测。
第10 / 10章
10. 用同一张表,读质量、显存与速度
“更省、更快、更清楚”要放进具体数据集、版本和预算条件,才知道实际在比较什么。
把图里的变化说清楚
等模型内存控制的是学习状态预算;等图元预算控制共同数量上限,并不保证各方法最终数量严格相同;Native允许各方法采用自己的数量策略。它们回答不同问题,也不能理解为整个训练过程显存上限一致。
PSNR反映图像误差,单位dB,越高通常越好;它不是百分比。训练VRAM是训练时资源峰值,FPS是渲染吞吐,Deploy.MB是文件大小。切换图中横轴,可以发现同一配置的优点和代价。
例如Mip-NeRF360的Native设置,V3增长版比2DGS渲染更快、导出更小,但PSNR略低、训练峰值VRAM反而更高。表3的V2在DTU上PSNR高4.74dB、FPS约2.32倍,在Mip上训练峰值VRAM约为2DGS的1/7;这些优势来自不同数据集,不能拼成同一实验行。表2与表3同名V1的Mip峰值写0.90/0.70 GiB,本页逐表保留,不静默统一。
对照公式与符号
先用上图确认各个量的含义,再读这组关系;术语按钮可回查定义。
所有图表是对论文报告值的重绘,未运行作者训练或性能复现。原始照片、权重与视频不随本页发布。
用一个判断检查理解
本章依据:表2–4、附录E.4 · 原文定位。图与中文讲解为本站原创教学表达;报告值不来自本页实测。