論文の概要: Close-up-GS: Enhancing Close-Up View Synthesis in 3D Gaussian Splatting with Progressive Self-Training

• arxiv url: http://arxiv.org/abs/2503.09396v1
• Date: Wed, 12 Mar 2025 13:44:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:40:08.452349
• Title: Close-up-GS: Enhancing Close-Up View Synthesis in 3D Gaussian Splatting with Progressive Self-Training
• Title（参考訳）: クローズアップGS: プログレッシブセルフトレーニングによる3次元ガウス平滑化におけるクローズアップビュー合成の促進
• Authors: Jiatong Xia, Lingqiao Liu,
• Abstract要約: 3D Gaussian Splatting (3DGS) は, トレーニング後の新規ビューの合成において, 優れた性能を示した。 しかし、そのレンダリング品質は、合成されたビューがトレーニングビューから著しく逸脱すると劣化する。 本稿では,自己生成データを用いて3DGSモデルを段階的にトレーニングすることで,クローズアップビュー生成のための新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 22.856905032678476
• License:
• Abstract: 3D Gaussian Splatting (3DGS) has demonstrated impressive performance in synthesizing novel views after training on a given set of viewpoints. However, its rendering quality deteriorates when the synthesized view deviates significantly from the training views. This decline occurs due to (1) the model's difficulty in generalizing to out-of-distribution scenarios and (2) challenges in interpolating fine details caused by substantial resolution changes and occlusions. A notable case of this limitation is close-up view generation--producing views that are significantly closer to the object than those in the training set. To tackle this issue, we propose a novel approach for close-up view generation based by progressively training the 3DGS model with self-generated data. Our solution is based on three key ideas. First, we leverage the See3D model, a recently introduced 3D-aware generative model, to enhance the details of rendered views. Second, we propose a strategy to progressively expand the ``trust regions'' of the 3DGS model and update a set of reference views for See3D. Finally, we introduce a fine-tuning strategy to carefully update the 3DGS model with training data generated from the above schemes. We further define metrics for close-up views evaluation to facilitate better research on this problem. By conducting evaluations on specifically selected scenarios for close-up views, our proposed approach demonstrates a clear advantage over competitive solutions.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は、与えられた視点でトレーニングした後、新しい視点を合成する際、印象的な性能を示した。 しかし、そのレンダリング品質は、合成されたビューがトレーニングビューから著しく逸脱すると劣化する。 この減少は,(1)分布外シナリオへの一般化が困難であること,(2)分解能の変化や閉塞による詳細の補間が困難であることから生じる。 この制限の顕著な例はクローズアップビュー生成(クローズアップビュー生成)であり、トレーニングセットのビューよりもオブジェクトにかなり近いビューを生成する。 そこで本研究では,自己生成データを用いて3DGSモデルを段階的にトレーニングすることで,クローズアップビュー生成のための新しいアプローチを提案する。 私たちのソリューションは3つの重要なアイデアに基づいています。 まず、最近導入された3D対応生成モデルであるSee3Dモデルを利用して、描画されたビューの詳細を強化する。 次に、3DGSモデルの「トラスト領域」を段階的に拡張し、See3Dの参照ビューを更新する戦略を提案する。 最後に、上記のスキームから生成されたトレーニングデータを用いて、3DGSモデルを慎重に更新するための微調整戦略を導入する。 クローズアップビュー評価のためのメトリクスも定義し、この問題についてより深く研究する。 クローズアップビューのための特定の選択されたシナリオの評価を行うことで、提案手法は競合するソリューションに対して明らかな優位性を示す。

関連論文リスト

• A Lesson in Splats: Teacher-Guided Diffusion for 3D Gaussian Splats Generation with 2D Supervision [65.33043028101471]
  本研究では,ガウスプレートの拡散モデルであるSplatDiffusionを導入し,単一画像から3次元構造を生成する。 既存の方法は決定論的フィードフォワード予測に依存しており、2Dデータからの3D推論の本質的な曖昧さを扱う能力を制限する。
  論文  参考訳（メタデータ） (2024-12-01T00:29:57Z)
• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• SplatFormer: Point Transformer for Robust 3D Gaussian Splatting [18.911307036504827]
  3D Gaussian Splatting (3DGS) は、近ごろ光現実的再構成を変換し、高い視覚的忠実度とリアルタイム性能を実現した。 レンダリング品質は、テストビューがトレーニング中に使用されるカメラアングルから逸脱したときに著しく低下し、没入型自由視点レンダリングとナビゲーションのアプリケーションにとって大きな課題となった。 SplatFormerは,ガウススプラット上での操作に特化して設計された最初の点変換器モデルである。 我々のモデルは、非常に斬新なビュー下でのレンダリング品質を著しく改善し、これらの難易度シナリオにおける最先端のパフォーマンスを達成し、様々な3DGS正規化技術、スパースビュー合成に適したマルチシーンモデル、拡散を上回ります。
  論文  参考訳（メタデータ） (2024-11-10T08:23:27Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• 3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors [13.191199172286508]
  新規ビュー合成は、複数の入力画像やビデオからシーンの新しいビューを生成することを目的としている。 3DGS-Enhancerは、3DGS表現の表現品質を向上させるための新しいパイプラインである。
  論文  参考訳（メタデータ） (2024-10-21T17:59:09Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。