論文の概要: Feature Splatting for Better Novel View Synthesis with Low Overlap

• arxiv url: http://arxiv.org/abs/2405.15518v2
• Date: Mon, 30 Sep 2024 09:32:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 21:59:38.455550
• Title: Feature Splatting for Better Novel View Synthesis with Low Overlap
• Title（参考訳）: 低オーバーラップによる新しい視点合成のための特徴分割
• Authors: T. Berriel Martins, Javier Civera,
• Abstract要約: 3D Splattingは非常に有望なシーン表現として登場し、新しいビュー合成における最先端の品質を実現している。 本稿では,3次元ガウスの色彩情報をガウス特徴ベクトルに符号化し,特徴分割(Feature Splatting)と表現する。
• 参考スコア（独自算出の注目度）: 9.192660643226372
• License:
• Abstract: 3D Gaussian Splatting has emerged as a very promising scene representation, achieving state-of-the-art quality in novel view synthesis significantly faster than competing alternatives. However, its use of spherical harmonics to represent scene colors limits the expressivity of 3D Gaussians and, as a consequence, the capability of the representation to generalize as we move away from the training views. In this paper, we propose to encode the color information of 3D Gaussians into per-Gaussian feature vectors, which we denote as Feature Splatting (FeatSplat). To synthesize a novel view, Gaussians are first "splatted" into the image plane, then the corresponding feature vectors are alpha-blended, and finally the blended vector is decoded by a small MLP to render the RGB pixel values. To further inform the model, we concatenate a camera embedding to the blended feature vector, to condition the decoding also on the viewpoint information. Our experiments show that these novel model for encoding the radiance considerably improves novel view synthesis for low overlap views that are distant from the training views. Finally, we also show the capacity and convenience of our feature vector representation, demonstrating its capability not only to generate RGB values for novel views, but also their per-pixel semantic labels. Code available at https://github.com/tberriel/FeatSplat . Keywords: Gaussian Splatting, Novel View Synthesis, Feature Splatting
• Abstract（参考訳）: 3D Gaussian Splattingは、非常に有望なシーン表現として登場し、新しいビュー合成における最先端の品質を競合するものよりもはるかに高速に達成している。 しかし、シーンカラーを表現するために球面調和を用いることで、3Dガウス表現の表現性が制限され、結果として、トレーニング視点から離れていくにつれて、表現が一般化する能力が制限される。 本稿では,3次元ガウス色情報をガウス特徴ベクトルに符号化し,FeatSplat(FeatSplat)と呼ぶ。 新たなビューを合成するために、ガウスはまず画像平面に「刻印」され、それに対応する特徴ベクトルはアルファブレンドされ、最後にブレンドベクターは小さなMLPによってデコードされ、RGBピクセル値が描画される。 モデルをさらに情報化するため、ブレンドされた特徴ベクトルに埋め込まれたカメラを連結し、視点情報にもデコーディングを条件付ける。 実験の結果, 放射率を符号化する新しいモデルは, トレーニングビューから離れた低重畳ビューに対して, 新規なビュー合成を著しく向上させることがわかった。 最後に、特徴ベクトル表現のキャパシティと利便性を示し、新しいビューのRGB値を生成するだけでなく、ピクセルごとのセマンティックラベルを生成する能力を示す。 コードはhttps://github.com/tberriel/FeatSplatで公開されている。 キーワード:ガウス・スプティング、新しいビュー・シンセサイザー、フィーチャー・スプティング

関連論文リスト

• Few-shot Novel View Synthesis using Depth Aware 3D Gaussian Splatting [0.0]
  3次元ガウススプラッティングは、新しいビュー合成における神経放射場法を超越している。 多数のインプットビューを備えた高品質なレンダリングを生成するが、ほんの数ビューしか利用できない場合、パフォーマンスは大幅に低下する。 数発の新規ビュー合成のための奥行き認識型ガウススプラッティング法を提案する。
  論文  参考訳（メタデータ） (2024-10-14T20:42:30Z)
• HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
  HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。 階層的な3Dガウスを粗大な戦略で生成する。 これにより、再構築品質とデータセット間の一般化が大幅に向上する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:32Z)
• Splatt3R: Zero-shot Gaussian Splatting from Uncalibrated Image Pairs [29.669534899109028]
  Splatt3Rはポーズレスフィードフォワード方式で,立体対からの3次元再構成と新しいビュー合成を行う。 Splatt3Rは補正されていない自然画像から、カメラパラメータや深度情報を必要とせずに3Dガウススプラッターを予測できる。 Splatt3Rは512 x 512の解像度で4FPSでシーンを再構築でき、その結果のスプラッターをリアルタイムでレンダリングできる。
  論文  参考訳（メタデータ） (2024-08-25T18:27:20Z)
• FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
  FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。 ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-28T08:40:14Z)
• DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
  我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。 定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-15T01:58:54Z)
• StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting [141.05924680451804]
  StyleGaussianは、新しい3Dスタイル転送技術である。 任意の画像のスタイルを毎秒10フレームの3Dシーンに即時転送できる(fps)。
  論文  参考訳（メタデータ） (2024-03-12T16:44:52Z)
• Compressed 3D Gaussian Splatting for Accelerated Novel View Synthesis [0.552480439325792]
  スパース画像集合からの新規なビュー合成のために,3次元ガウススプラット表現を最適化した高忠実度シーン再構成を導入した。 本稿では,感性を考慮したベクトルクラスタリングと量子化学習を併用した3次元ガウススプラット表現を用いて,方向色とガウスパラメータを圧縮する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-17T14:40:43Z)
• Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
  本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。 一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。 提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T17:56:01Z)
• One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
  ロボット工学のための統一的でコンパクトなシーン表現を提案する。 シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。 この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
  論文  参考訳（メタデータ） (2022-10-21T17:33:14Z)
• Unified Implicit Neural Stylization [80.59831861186227]
  この研究は、スタイル化された暗黙の表現のトレーニングという、新しい興味深い方向性を探求する。 本研究では,2次元座標に基づく表現,ニューラルラディアンス場,符号付き距離関数など,様々な暗黙関数に関するパイロット研究を行う。 我々のソリューションは、INSと呼ばれる統一暗黙的ニューラルスティル化フレームワークです。
  論文  参考訳（メタデータ） (2022-04-05T02:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。