FLAT: Feedforward Latent Triangle Splatting for Geometrically Accurate Scene Generation
Abstractの概要
FLATは、カメラ条件付きの固定されたビデオ拡散潜在表現から直接三角形スプラットをデコードし、単一画像から1回のフォワードパスで探索可能な3Dシーンを生成するフィードフォワード手法である。本論文では、より高い幾何学的忠実度と標準的なグラフィックスパイプラインとの強い互換性を目指し、ボリュメトリックなガウシアンではなく、明示的に表面に合わせたプリミティブに焦点を当てている。平面プリミティブのフィードフォワード予測を安定させるため、この手法はレイ（光線）中心の三角形パラメータ化と、勾配フローを改善する積ベースの微分可能レンダリングウィンドウを組み合わせている。RealEstate10KおよびDL3DVのデータセットにおいて、三角形バリアントは競争力のある新規視点レンダリング品質を維持しつつ、比較対象のガウシアンベースのバリアントよりも大幅に優れた幾何学的精度を示し、軽量な最適化ステップにより出力をゲームエンジンですぐに使える不透明な表現へと変換する。
新規性
本論文は、フィードフォワードなシーン生成において、圧縮されたビデオ拡散潜在表現から三角形スプラットを直接シングルパスでデコードする初の手法を提示している。技術的な主な特徴は、制約された形状と残差方向を持つレイ中心の局所的な三角形パラメータ化と、微分可能三角形レンダリングのための新しい積ウィンドウ関数である。また、同一の潜在デコード設定下での3DGS、2DGS、および三角形スプラットの対照比較も提供している。
成果
シーン生成の評価において、視覚的指標を競争力のある範囲に維持しつつ、三角形表現は比較されたFLATバリアントの中で最も高い幾何学的品質を達成し、コサイン法線類似度は2DGSの0.587や3DGSの0.116に対し0.853に達した。メッシュ変換において、三角形ベースのパイプラインはガウシアン表現から抽出されたメッシュよりもはるかに高い不透明メッシュレンダリング品質を生成し、RealEstate10Kでは2DGS TSDFの15.89 PSNRや3DGSからのGS2Meshの14.18 PSNRに対し、21.23 PSNRを報告している。さらに、アブレーション検証により、提案された回転パラメータ化とウィンドウ関数が安定した学習に重要であることが示されている。
論文の注目点
- FLATは、より明示的で幾何学的に意味のある表面表現を得るために、ボリュメトリックなガウシアン出力を直接デコードされた三角形スプラットに置き換える。
- 本手法の安定性は、退化や不適切な向きの三角形を回避するレイ中心の三角形パラメータ化と、レンダリング勾配を改善する積ウィンドウ関数という2つの核心的な設計選択に依存している。
- 軽量な後処理ステップにより、予測された半透明の三角形群を、ゲームエンジンやリアルタイムレンダリングのワークフローにより適した首尾一貫した不透明メッシュに変換する。
参考リンク
- arXiv: https://arxiv.org/abs/2606.24876v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.24876v1
- Hugging Face Papers: https://huggingface.co/papers/2606.24876
- Project: https://flat-splat.github.io