論文の概要: Close-up-GS: Enhancing Close-Up View Synthesis in 3D Gaussian Splatting with Progressive Self-Training

• arxiv url: http://arxiv.org/abs/2503.09396v1
• Date: Wed, 12 Mar 2025 13:44:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 21:17:52.78688
• Title: Close-up-GS: Enhancing Close-Up View Synthesis in 3D Gaussian Splatting with Progressive Self-Training
• Title（参考訳）: クローズアップGS: プログレッシブセルフトレーニングによる3次元ガウス平滑化におけるクローズアップビュー合成の促進
• Authors: Jiatong Xia, Lingqiao Liu,
• Abstract要約: 3D Gaussian Splatting (3DGS) は, トレーニング後の新規ビューの合成において, 優れた性能を示した。 しかし、そのレンダリング品質は、合成されたビューがトレーニングビューから著しく逸脱すると劣化する。 本稿では,自己生成データを用いて3DGSモデルを段階的にトレーニングすることで,クローズアップビュー生成のための新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 22.856905032678476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D Gaussian Splatting (3DGS) has demonstrated impressive performance in synthesizing novel views after training on a given set of viewpoints. However, its rendering quality deteriorates when the synthesized view deviates significantly from the training views. This decline occurs due to (1) the model's difficulty in generalizing to out-of-distribution scenarios and (2) challenges in interpolating fine details caused by substantial resolution changes and occlusions. A notable case of this limitation is close-up view generation--producing views that are significantly closer to the object than those in the training set. To tackle this issue, we propose a novel approach for close-up view generation based by progressively training the 3DGS model with self-generated data. Our solution is based on three key ideas. First, we leverage the See3D model, a recently introduced 3D-aware generative model, to enhance the details of rendered views. Second, we propose a strategy to progressively expand the ``trust regions'' of the 3DGS model and update a set of reference views for See3D. Finally, we introduce a fine-tuning strategy to carefully update the 3DGS model with training data generated from the above schemes. We further define metrics for close-up views evaluation to facilitate better research on this problem. By conducting evaluations on specifically selected scenarios for close-up views, our proposed approach demonstrates a clear advantage over competitive solutions.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は、与えられた視点でトレーニングした後、新しい視点を合成する際、印象的な性能を示した。 しかし、そのレンダリング品質は、合成されたビューがトレーニングビューから著しく逸脱すると劣化する。 この減少は,(1)分布外シナリオへの一般化が困難であること,(2)分解能の変化や閉塞による詳細の補間が困難であることから生じる。 この制限の顕著な例はクローズアップビュー生成(クローズアップビュー生成)であり、トレーニングセットのビューよりもオブジェクトにかなり近いビューを生成する。 そこで本研究では,自己生成データを用いて3DGSモデルを段階的にトレーニングすることで,クローズアップビュー生成のための新しいアプローチを提案する。 私たちのソリューションは3つの重要なアイデアに基づいています。 まず、最近導入された3D対応生成モデルであるSee3Dモデルを利用して、描画されたビューの詳細を強化する。 次に、3DGSモデルの「トラスト領域」を段階的に拡張し、See3Dの参照ビューを更新する戦略を提案する。 最後に、上記のスキームから生成されたトレーニングデータを用いて、3DGSモデルを慎重に更新するための微調整戦略を導入する。 クローズアップビュー評価のためのメトリクスも定義し、この問題についてより深く研究する。 クローズアップビューのための特定の選択されたシナリオの評価を行うことで、提案手法は競合するソリューションに対して明らかな優位性を示す。

関連論文リスト

• EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
  既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。 本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
  論文  参考訳（メタデータ） (2025-03-26T02:47:27Z)
• AR-1-to-3: Single Image to Consistent 3D Object Generation via Next-View Prediction [69.65671384868344]
  拡散モデルに基づく新しい次世代予測パラダイムAR-1-to-3を提案する。 提案手法は,生成したビューと入力ビューとの整合性を大幅に改善し,高忠実度3Dアセットを生成する。
  論文  参考訳（メタデータ） (2025-03-17T08:39:10Z)
• Taming Video Diffusion Prior with Scene-Grounding Guidance for 3D Gaussian Splatting from Sparse Inputs [28.381287866505637]
  本稿では,映像拡散モデルから学習した先行情報を生かした生成パイプラインによる再構成手法を提案する。 最適化された3DGSからのレンダリングシーケンスに基づく新しいシーングラウンドガイダンスを導入し,拡散モデルを用いて一貫したシーケンスを生成する。 提案手法はベースラインを大幅に改善し,挑戦的なベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-03-07T01:59:05Z)
• A Lesson in Splats: Teacher-Guided Diffusion for 3D Gaussian Splats Generation with 2D Supervision [65.33043028101471]
  本研究では,ガウスプレートの拡散モデルであるSplatDiffusionを導入し,単一画像から3次元構造を生成する。 既存の方法は決定論的フィードフォワード予測に依存しており、2Dデータからの3D推論の本質的な曖昧さを扱う能力を制限する。
  論文  参考訳（メタデータ） (2024-12-01T00:29:57Z)
• SplatFormer: Point Transformer for Robust 3D Gaussian Splatting [18.911307036504827]
  3D Gaussian Splatting (3DGS) は、近ごろ光現実的再構成を変換し、高い視覚的忠実度とリアルタイム性能を実現した。 レンダリング品質は、テストビューがトレーニング中に使用されるカメラアングルから逸脱したときに著しく低下し、没入型自由視点レンダリングとナビゲーションのアプリケーションにとって大きな課題となった。 SplatFormerは,ガウススプラット上での操作に特化して設計された最初の点変換器モデルである。 我々のモデルは、非常に斬新なビュー下でのレンダリング品質を著しく改善し、これらの難易度シナリオにおける最先端のパフォーマンスを達成し、様々な3DGS正規化技術、スパースビュー合成に適したマルチシーンモデル、拡散を上回ります。
  論文  参考訳（メタデータ） (2024-11-10T08:23:27Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• 3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors [13.191199172286508]
  新規ビュー合成は、複数の入力画像やビデオからシーンの新しいビューを生成することを目的としている。 3DGS-Enhancerは、3DGS表現の表現品質を向上させるための新しいパイプラインである。
  論文  参考訳（メタデータ） (2024-10-21T17:59:09Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。