論文の概要: Feature Splatting for Better Novel View Synthesis with Low Overlap
- arxiv url: http://arxiv.org/abs/2405.15518v1
- Date: Fri, 24 May 2024 13:02:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 14:22:48.287417
- Title: Feature Splatting for Better Novel View Synthesis with Low Overlap
- Title（参考訳）: 低オーバーラップによる新しい視点合成のための特徴分割
- Authors: T. Berriel Martins, Javier Civera,
- Abstract要約: 3D Splattingは非常に有望なシーン表現として登場し、新しいビュー合成における最先端の品質を実現している。
本稿では,3次元ガウスの色彩情報をガウス特徴ベクトルに符号化し,特徴分割(Feature Splatting)と表現する。
- 参考スコア（独自算出の注目度）: 9.192660643226372
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: 3D Gaussian Splatting has emerged as a very promising scene representation, achieving state-of-the-art quality in novel view synthesis significantly faster than competing alternatives. However, its use of spherical harmonics to represent scene colors limits the expressivity of 3D Gaussians and, as a consequence, the capability of the representation to generalize as we move away from the training views. In this paper, we propose to encode the color information of 3D Gaussians into per-Gaussian feature vectors, which we denote as Feature Splatting (FeatSplat). To synthesize a novel view, Gaussians are first "splatted" into the image plane, then the corresponding feature vectors are alpha-blended, and finally the blended vector is decoded by a small MLP to render the RGB pixel values. To further inform the model, we concatenate a camera embedding to the blended feature vector, to condition the decoding also on the viewpoint information. Our experiments show that these novel model for encoding the radiance considerably improves novel view synthesis for low overlap views that are distant from the training views. Finally, we also show the capacity and convenience of our feature vector representation, demonstrating its capability not only to generate RGB values for novel views, but also their per-pixel semantic labels. We will release the code upon acceptance. Keywords: Gaussian Splatting, Novel View Synthesis, Feature Splatting
- Abstract（参考訳）: 3D Gaussian Splattingは、非常に有望なシーン表現として登場し、新しいビュー合成における最先端の品質を競合するものよりもはるかに高速に達成している。
しかし、シーンカラーを表現するために球面調和を用いることで、3Dガウス表現の表現性が制限され、結果として、トレーニング視点から離れていくにつれて、表現が一般化する能力が制限される。
本稿では,3次元ガウス色情報をガウス特徴ベクトルに符号化し,FeatSplat(FeatSplat)と呼ぶ。
新たなビューを合成するために、ガウスはまず画像平面に「刻印」され、それに対応する特徴ベクトルはアルファブレンドされ、最後にブレンドベクターは小さなMLPによってデコードされ、RGBピクセル値が描画される。
モデルをさらに情報化するため、ブレンドされた特徴ベクトルに埋め込まれたカメラを連結し、視点情報にもデコーディングを条件付ける。
実験の結果, 放射率を符号化する新しいモデルは, トレーニングビューから離れた低重畳ビューに対して, 新規なビュー合成を著しく向上させることがわかった。
最後に、特徴ベクトル表現のキャパシティと利便性を示し、新しいビューのRGB値を生成するだけでなく、ピクセルごとのセマンティックラベルを生成する能力を示す。
私たちは受け入れに応じてコードを公開します。
キーワード:ガウス・スプティング、新しいビュー・シンセサイザー、フィーチャー・スプティング
関連論文リスト
- FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。
ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
論文 参考訳（メタデータ） (2024-05-28T08:40:14Z) - DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。
定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-15T01:58:54Z) - Recent Advances in 3D Gaussian Splatting [31.3820273122585]
3次元ガウススプラッティングは、新規なビュー合成のレンダリング速度を大幅に高速化した。
3D Gaussian Splattingの明示的な表現は、動的再構成、幾何学的編集、物理シミュレーションなどの編集作業を容易にする。
本稿では,3次元再構成,3次元編集,その他の下流アプリケーションに大まかに分類できる最近の3次元ガウス散乱法について,文献的考察を行う。
論文 参考訳（メタデータ） (2024-03-17T07:57:08Z) - Gaussian Splatting with NeRF-based Color and Opacity [7.121259735505479]
本研究では、3Dオブジェクトの形状のGS表現と、色と不透明度のNeRFに基づく符号化を利用するハイブリッドモデルであるビューングディビジョン・ガウス・スティング(VDGS)を提案する。
我々のモデルは、テクスチャや光の成分を追加することなく、影、光の反射、そして3Dオブジェクトの透明さをよりよく記述します。
論文 参考訳（メタデータ） (2023-12-21T10:52:59Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2023-11-22T20:31:16Z) - Compressed 3D Gaussian Splatting for Accelerated Novel View Synthesis [0.552480439325792]
スパース画像集合からの新規なビュー合成のために,3次元ガウススプラット表現を最適化した高忠実度シーン再構成を導入した。
本稿では,感性を考慮したベクトルクラスタリングと量子化学習を併用した3次元ガウススプラット表現を用いて,方向色とガウスパラメータを圧縮する手法を提案する。
論文 参考訳（メタデータ） (2023-11-17T14:40:43Z) - Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。
一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。
提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
論文 参考訳（メタデータ） (2023-05-03T17:56:01Z) - One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
ロボット工学のための統一的でコンパクトなシーン表現を提案する。
シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。
この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
論文 参考訳（メタデータ） (2022-10-21T17:33:14Z) - Unified Implicit Neural Stylization [80.59831861186227]
この研究は、スタイル化された暗黙の表現のトレーニングという、新しい興味深い方向性を探求する。
本研究では,2次元座標に基づく表現,ニューラルラディアンス場,符号付き距離関数など,様々な暗黙関数に関するパイロット研究を行う。
我々のソリューションは、INSと呼ばれる統一暗黙的ニューラルスティル化フレームワークです。
論文 参考訳（メタデータ） (2022-04-05T02:37:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。