三维高斯泼溅（3D Gaussian Splatting）使得实时高质地渲染成为可能，是面前 3D 视觉限制最常用的算法之一。

问题在于，基于浮现高斯单位的暗示方式，尽管不错高效溅射和光栅化，其密集化和优化经由却时常会生成冗余的高斯点，导致单个重建场景可能包含数百万个高斯点。

这不仅镌汰了锻真金不怕火和渲染速率（本可能更快），还导致显赫的内存破费。

当今，来自上海 AI Lab 的照料团队提议MaskGaussian，将掩码会通进光栅化经由，初次为被使用和未被使用的高斯同期保留梯度，在剪枝高斯的同期，MaskGaussian 极大收相貌保抓了重建质地，提高了锻真金不怕火速率和减小内存需求。

△与 3DGS 比拟，MaskGaussian 在不影响重建质地的情况下减少高斯点数

该职责既缓助从新初始的锻真金不怕火，也缓助对现存的高斯进行微调。

△MaskGaussian 使用更少的高斯更优秀的地还原出藤蔓的"细枝小节"

实验扫尾浮现，MaskGaussian 在Mip-NeRF360、Tanks & Temples和Deep Blending三个数据集上永别剪枝了62.4%、67.7%和75.3%的高斯点，且性能赔本不错忽略不计。

对冗余高斯点进行剪枝，面前主要有两种次第：

第一类次第基于手工打算的迫切性评分，移除评分低于预设阈值的高斯点。这类次第频繁需要扫描通盘锻真金不怕火图像以计较迫切性评分，因此剪枝只可在锻真金不怕火时分推行一次或两次。

第二类次第使用可学习的掩码，将其与高斯点的属性相乘以收受梯度。尽管这种次第允许通过掩码迟缓移除高斯点，但渲染的场景历久依赖于一样的高斯点子集 : 要是一个高斯点未被移除，它会一直存在到面前迭代； 一朝被移除 , 它将被长期排斥。这种细目性的掩码生成未能探究剪枝后场景的演化，可能导致一些面前孝敬较小但在锻真金不怕火后期可能关键且难以规复的高斯点被移除。这导致次优的重建服从，尤其是细节或小物体的丢失。

照料团队以为，面前存在的掩码剪枝计谋发达受限的主要原因在于：掩码与高斯的透明度等属性相乘后，CUDA 渲染器无法产生来自未使用高斯的梯度。

算作类比，在传统的 Transformer 的掩码剪枝中，未被使用的 token 会以零值参与计较并赢得梯度，使 token 岂论是否被使用王人能赢得更新，幸免优化经由朝着单一状况发展；而在 3DGS 中，CUDA 渲染器会平直跳过溅射到 2D 上透明度为 0 的高斯，不进行梯度计较，使得未被用的高斯无法得到更新。

针对这些问题，MaskGaussian 旨在为每个高斯点学习一个掩码散播。通过从该散播中采样，不错生成一个二值掩码，相通该高斯点的存在或不存在。然后，通盘高斯点在不受掩码烦嚣的情况下进行圭表溅射，并和掩码全部过问渲染计较。

掩码为 1 和 0 的高斯王人不错通过调动后的 CUDA 渲染器赢得正确梯度，计较其存在 / 不存在两种情况下对面前场景的孝敬影响。

如下图所示，渴望的颜料更接近掩码为 0 的高斯点，而不是自背面的积攒颜料，赢得的梯度便会使加多其存在概率，以便在后续迭代中被使用。看重该经由中并无东说念主工打算，悉数由梯度信息指引。

掩码光栅化：前向经由

CUDA 渲染器中的原始渲染公式如下：

其中，，，永别是像素点的颜料，第 i 个高斯的颜料，透明度和透光率。

为了剪枝不迫切的高斯点，MaskGaussian 添加了掩码，该掩码不错与其他高斯点属性全部进行优化，以评估高斯点的孝敬。

掩码的生成视为一个两类采样经由。具体来说，MaskGaussian 为每个高斯点分派两个可学习的掩码分数，并愚弄 Gumbel-Softmax 从两个分数中采样一个可微分的类别，记为

。通过幸免将掩码平直愚弄于高斯点属性，MaskGaussian 保留了溅射的 α 的完好性，使高斯的计较不会被跳过，粗略悉数参与光栅化。

然后，论文在光栅化框架中平直集成掩码，修改两行 CUDA 代码，如下公式所示：

掩码被愚弄于颜料积攒和透射率衰减经由。那时，高斯点以前对颜料孝敬并凭据其破费透射率；那时，高斯点的颜料孝敬被掩码，其透射率破费被跳过。

这种公式确保了在处理被掩码高斯点缺失机，前向光栅化扫尾的正确性。需要看重的是，被掩码的高斯点仍然参与前向计较，并粗略汲取有好奇爱慕的梯度。

掩码光栅化：反向经由

为了施展梯度公式，MaskGaussian 界说为从第 i+1 个高斯点到终末一个高斯点渲染的颜料，即 :

其中，，永别是第 j 个高斯点的颜料、散射密度和透射率。接着，掩码的梯度暗示如下，解说详见论文附录：

其中是总赔本函数，是相通高斯点存在或不存在的二值掩码，是像素 x 的最终输出颜料，和永别为第 i 个高斯点的颜料和自后的颜料累计值。

梯度公式不错分为两部分贯串：

对颜料的权重：决定了该高斯点对最终颜料的影响进程，也蜿蜒决定了该点对梯度的孝敬大小。较大的权重意味着该点对渲染扫尾的迫切性更高。

颜料优化标的：

中，暗示赔本函数对输出颜料的优化标的，而

暗示使用第 i 个高斯点的颜料相较于配景颜料的上风。举例，要是两者的点积为正，则施展使用该高斯点是故意的，掩码会汲取到正梯度，从而加多该高斯点的存在概率，即便它面前未被采样和使用。

好奇爱慕的是，这个梯度公式也曾包含了，即基于分数的剪枝次第所使用的迫切性圭表。

此外，这一公式还捕捉了所需颜料与被掩码高斯点颜料之间的关系，这是分数剪枝次第无法测量且容易忽略的本体。

与通过高斯点的不透明度和圭表与掩码相乘的次第比拟，本文的次第并未将掩码梯度与这些属性绑定，从而幸免了对微型高斯点的不利影响。此外，该次第还允许被掩码的高斯点汲取梯度，以更新其掩码散播。

这一立异使得被掩码的高斯点，即使未被平直采样，在优化经由中依然粗略对场景作念出潜在孝敬的调遣。这抑遏了传统剪枝次第中未被采样点迟缓失效的"死字螺旋"问题，从而灵验栽植了剪枝服从和渲染质地。

锻真金不怕火与剪枝

MaskGaussian 使用平方损违不休高斯点的平均数目，其界说如下，并在实验中考证其优于赔本：

其中是高斯点的总额，是第 i 个高斯点的掩码值（取值为 0 或 1）。最终的赔本函数为：

其中，是渲染的图像赔本（频繁是感知赔本或像素级赔本），是均衡超参数，用于限度掩码不休的强度。

为了剪枝掉采样概率接近零的高斯点，论文对每个高斯点进行 10 次采样，并移除那些从未被采样的点。该剪枝经由在每次密集化法子后以及每 1000 次迭代中推行一次。

通过鄙俚的实验扫尾和分析，照料团队解说了 MaskGaussian 的灵验性。

在 Mip-NeRF360、Tanks & Temples 和 Deep Blending 三个数据集上，MaskGaussian 永别剪枝了 62.4%、67.7% 和 75.3% 的高斯点，且性能赔本不错忽略不计。

方法地址：https://maskgaussian.github.io/

代码贯串：https://github.com/kaikai23/maskgaussian

一键三连「点赞」「转发」「谨防心」

宽宥在研究区留住你的念念法！

—  完  —

学术投稿请于职责日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿本体‍

附上论文 / 方法主页贯串，以及关系方式哦

咱们会（尽量）实时恢复你

� � 点亮星标 � �

科技前沿进展逐日见尊龙体育网