論文の概要: FewViewGS: Gaussian Splatting with Few View Matching and Multi-stage Training

• arxiv url: http://arxiv.org/abs/2411.02229v2
• Date: Tue, 05 Nov 2024 19:06:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 11:17:44.228277
• Title: FewViewGS: Gaussian Splatting with Few View Matching and Multi-stage Training
• Title（参考訳）: FewViewGS: 少数のビューマッチングとマルチステージトレーニングを備えたガウススプラッティング
• Authors: Ruihong Yin, Vladimir Yugay, Yue Li, Sezer Karaoglu, Theo Gevers,
• Abstract要約: スパース入力画像を用いた3次元ガウス型新規ビュー合成法を提案する。 本稿では,新しい視点に課せられる整合性制約を考慮した多段階学習手法を提案する。 これは、利用可能なトレーニング画像のマッチングを使用して、新しいビューの生成を監督することで達成される。
• 参考スコア（独自算出の注目度）: 15.634646420318731
• License:
• Abstract: The field of novel view synthesis from images has seen rapid advancements with the introduction of Neural Radiance Fields (NeRF) and more recently with 3D Gaussian Splatting. Gaussian Splatting became widely adopted due to its efficiency and ability to render novel views accurately. While Gaussian Splatting performs well when a sufficient amount of training images are available, its unstructured explicit representation tends to overfit in scenarios with sparse input images, resulting in poor rendering performance. To address this, we present a 3D Gaussian-based novel view synthesis method using sparse input images that can accurately render the scene from the viewpoints not covered by the training images. We propose a multi-stage training scheme with matching-based consistency constraints imposed on the novel views without relying on pre-trained depth estimation or diffusion models. This is achieved by using the matches of the available training images to supervise the generation of the novel views sampled between the training frames with color, geometry, and semantic losses. In addition, we introduce a locality preserving regularization for 3D Gaussians which removes rendering artifacts by preserving the local color structure of the scene. Evaluation on synthetic and real-world datasets demonstrates competitive or superior performance of our method in few-shot novel view synthesis compared to existing state-of-the-art methods.
• Abstract（参考訳）: 画像からの新たなビュー合成の分野は、NeRF(Neural Radiance Fields)の導入により急速に進歩し、最近では3Dガウススプラッティングが導入された。 ガウスの版画は、その効率性と、新しいビューを正確に描画する能力のために広く採用された。 Gaussian Splattingは十分な量のトレーニングイメージが利用可能である場合にはうまく機能するが、その非構造化の明示表現はスパース入力イメージのシナリオに過度に適合する傾向にあり、結果としてレンダリング性能は低下する。 そこで本研究では,スパース入力画像を用いた3次元ガウスモデルによる新しいビュー合成手法を提案する。 本稿では,事前学習した深度推定や拡散モデルに頼ることなく,新しい視点に制約を課したマッチングに基づく多段階学習手法を提案する。 これは、利用可能なトレーニング画像のマッチングを使用して、色、幾何学、意味的な損失を持つトレーニングフレーム間でサンプリングされた新しいビューの生成を監督する。 さらに,シーンの局所的な色構造を保ち,レンダリングアーティファクトを除去する3次元ガウシアンのための局所保存正規化を導入する。 合成および実世界のデータセットの評価は、既存の最先端手法と比較して、数ショットの新規ビュー合成において、我々の手法の競争力または優れた性能を示す。

関連論文リスト

• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• Binocular-Guided 3D Gaussian Splatting with View Consistency for Sparse View Synthesis [53.702118455883095]
  本稿では,ガウススプラッティングを用いたスパースビューから新しいビューを合成する新しい手法を提案する。 私たちのキーとなるアイデアは、両眼画像間の両眼立体的一貫性に固有の自己超越を探索することにあります。 我々の手法は最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T15:10:27Z)
• Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections [25.154665328053333]
  Splatfacto-Wは、ガウスごとのニューラルカラー特徴と画像ごとの外観をレンダリングプロセスに組み込む、自明なアプローチである。 提案手法は,3DGSに比べて平均5.3dBのPak Signal-to-Noise Ratio(PSNR)を向上し,NeRF法に比べて150倍のトレーニング速度を向上し,3DGSと同様のレンダリング速度を実現する。
  論文  参考訳（メタデータ） (2024-07-17T04:02:54Z)
• FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
  FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。 ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-28T08:40:14Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
  我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。 具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。 本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
  論文  参考訳（メタデータ） (2023-05-24T14:00:32Z)
• MixNeRF: Modeling a Ray with Mixture Density for Novel View Synthesis from Sparse Inputs [26.30879244783331]
  スパース入力からの新規ビュー合成のための効果的なトレーニング戦略であるMixNeRFを提案する。 我々のMixNeRFは、RGB色と光線サンプルの混合分布をモデル化することにより、RGB色の結合分布を推定する。 また,3次元シーン形状と高い相関関係を持つ,有用なトレーニング対象としての光線深度推定の新たな課題を提案する。
  論文  参考訳（メタデータ） (2023-02-17T10:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。