論文の概要: UFV-Splatter: Pose-Free Feed-Forward 3D Gaussian Splatting Adapted to Unfavorable Views
- arxiv url: http://arxiv.org/abs/2507.22342v1
- Date: Wed, 30 Jul 2025 02:56:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-31 16:14:17.954377
- Title: UFV-Splatter: Pose-Free Feed-Forward 3D Gaussian Splatting Adapted to Unfavorable Views
- Title(参考訳): UFV-Splatter:好ましくない視点に適応したフィードフォワード型3Dガウス型スプラッティング
- Authors: Yuki Fujimura, Takahiro Kushida, Kazuya Kitano, Takuya Funatomi, Yasuhiro Mukaigawa,
- Abstract要約: フィードフォワードをトレーニングするための一般的なレンダリング設定は、世界の起源に3Dオブジェクトを配置し、原点に向かって向けられたカメラからレンダリングする。
本稿では、事前訓練されたポーズなしフィードフォワード3DGSモデルで好ましくないビューを処理できる新しい適応フレームワークを提案する。
- 参考スコア(独自算出の注目度): 9.974268614169155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a pose-free, feed-forward 3D Gaussian Splatting (3DGS) framework designed to handle unfavorable input views. A common rendering setup for training feed-forward approaches places a 3D object at the world origin and renders it from cameras pointed toward the origin -- i.e., from favorable views, limiting the applicability of these models to real-world scenarios involving varying and unknown camera poses. To overcome this limitation, we introduce a novel adaptation framework that enables pretrained pose-free feed-forward 3DGS models to handle unfavorable views. We leverage priors learned from favorable images by feeding recentered images into a pretrained model augmented with low-rank adaptation (LoRA) layers. We further propose a Gaussian adapter module to enhance the geometric consistency of the Gaussians derived from the recentered inputs, along with a Gaussian alignment method to render accurate target views for training. Additionally, we introduce a new training strategy that utilizes an off-the-shelf dataset composed solely of favorable images. Experimental results on both synthetic images from the Google Scanned Objects dataset and real images from the OmniObject3D dataset validate the effectiveness of our method in handling unfavorable input views.
- Abstract(参考訳): 本稿では,不利な入力ビューを扱うために,ポーズフリーでフィードフォワードな3Dガウススティング(3DGS)フレームワークを提案する。
フィードフォワードのトレーニングのための一般的なレンダリング設定は、世界の起源に3Dオブジェクトを配置し、それを原点を指すカメラからレンダリングする -- すなわち、好意的な視点から、これらのモデルの適用性を、さまざまな未知のカメラのポーズを含む現実のシナリオに限定する。
この制限を克服するために、事前訓練されたポーズなしフィードフォワード3DGSモデルで好ましくないビューを処理できる新しい適応フレームワークを導入する。
我々は,ローランク適応(LoRA)層を付加した事前学習モデルに,最近の画像から学習した先行画像を活用する。
さらに、近年の入力から得られたガウスの幾何的整合性を高めるガウス適応モジュールと、トレーニングのための正確なターゲットビューを描画するガウスアライメント手法を提案する。
さらに,好意的な画像のみで構成された市販のデータセットを利用する新たなトレーニング戦略を導入する。
Google Scanned Objectsデータセットの合成画像とOmniObject3Dデータセットの実際の画像の両方に対する実験結果により、不都合な入力ビューを扱う際の方法の有効性が検証された。
関連論文リスト
- NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。
我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
論文 参考訳(メタデータ) (2024-11-25T07:57:17Z) - No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳(メタデータ) (2024-10-31T17:58:22Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳(メタデータ) (2024-10-29T15:28:15Z) - 3D Gaussian Editing with A Single Image [19.662680524312027]
本稿では,3次元ガウシアンスプラッティングをベースとしたワンイメージ駆動の3Dシーン編集手法を提案する。
提案手法は,ユーザが指定した視点から描画した画像の編集版に合わせるために,3次元ガウスを最適化することを学ぶ。
実験により, 幾何学的詳細処理, 長距離変形, 非剛性変形処理における本手法の有効性が示された。
論文 参考訳(メタデータ) (2024-08-14T13:17:42Z) - GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time [112.32349668385635]
GGRtは、現実のカメラポーズの必要性を軽減する、一般化可能な新しいビュー合成のための新しいアプローチである。
最初のポーズフリーの一般化可能な3D-GSフレームワークとして、GGRtは$ge$5 FPSで、リアルタイムレンダリングは$ge$100 FPSで実現している。
論文 参考訳(メタデータ) (2024-03-15T09:47:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。