ZipSplat: Fewer Gaussians, Better Splats
Abstractの概要
ZipSplatは、各入力ピクセルに1つのガウシアンを結びつけることなく、多視点画像からコンパクトなシーン表現を予測するフィードフォワード型の3Dガウシアンスプラッティングモデルである。高密度な多視点視覚トークンを抽出し、k-meansクラスタリングでシーントークンに圧縮した後、交差アテンションと自己アテンションで洗練し、各トークンを自由な3D位置を持つガウシアンのグループへとデコードする。クラスタリングは推論時に行われるため、予算に合わせて再学習することなく圧縮率を変更し、単一の学習済みモデルで品質と効率のトレードオフを調整できる。自由な3D配置を確実に行えるよう、幾何学的な教師データに加えて、光度、知覚、深度の損失を組み合わせ、慎重な初期化と段階的な学習スケジュールを採用している。
新規性
本論文の主な新規性は、ガウシアンの予測を2Dピクセルグリッドから切り離し、代わりに動的に形成されたシーントークンからガウシアンを生成する点にある。このトークンベースの定式化と推論時の特徴空間クラスタリングの組み合わせにより、単一モデルでガウシアンの予算を連続的に制御可能にしつつ、視線に沿ってではなく3D空間の自由な位置にガウシアンを配置できるようになる。
成果
DL3DVおよびRealEstate10Kにおいて、ZipSplatはピクセル整列手法の約6分の1のガウシアン数を利用しながら最先端の姿勢フリー新規視点合成を達成し、PSNRでYoNoSplatをDL3DVで最大2.1dB、RealEstate10Kで1.2dB上回った。また、モデルは第ゼロショットでMip-NeRF360やScanNet++に対して汎化して比較可能なベースラインを上回り、コンテキスト視点の数が増加してもその品質を比較的安定して維持した。
論文の注目点
- ピクセル単位のガウシアン予測をシーントークンのパイプラインに置き換え、高密度な多視点トークンをクラスタリング・アテンションによる洗練を経て、自由な3D位置を持つガウシアングループにデコードする。
- 推論時に圧縮率が調整可能であるため、単一の学習済みモデルで再学習なしに品質と効率のトレードオフ領域をカバーでき、強い圧縮下でも緩やかな性能低下で済むことが示されている。
- 実験の結果、ピクセル整列型のフィードフォワードベースラインと比較して、大幅に少ないガウシアン数で、より高い再構成品質と入力視点の増加に対する優れたスケーリングを達成している。
参考リンク
- arXiv: https://arxiv.org/abs/2606.05102v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.05102v1
- Hugging Face Papers: https://huggingface.co/papers/2606.05102
- Project: https://veichta.com/zipsplat