論文の概要: ArtiFixer: Enhancing and Extending 3D Reconstruction with Auto-Regressive Diffusion Models
- arxiv url: http://arxiv.org/abs/2603.00492v1
- Date: Sat, 28 Feb 2026 06:22:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.225389
- Title: ArtiFixer: Enhancing and Extending 3D Reconstruction with Auto-Regressive Diffusion Models
- Title（参考訳）: ArtiFixer: 自己回帰拡散モデルによる3次元再構成の強化と拡張
- Authors: Riccardo de Lutio, Tobias Fischer, Yen-Yu Chang, Yuxuan Zhang, Jay Zhangjie Wu, Xuanchi Ren, Tianchang Shen, Katarina Tothova, Zan Gojcic, Haithem Turki,
- Abstract要約: 3Dガウススプラッティングのようなシーンごとの最適化手法は、最先端の斬新なビュー合成の質を提供するが、観測されていない領域への外挿は不十分である。
2つの重要な洞察を利用する2段階のパイプラインを提案する。
まず、新しい不透明混合戦略を用いて、強力な双方向生成モデルを訓練する。
第二に、これを因果自己回帰モデルに蒸留し、1回のパスで数百フレームを生成する。
- 参考スコア（独自算出の注目度）: 27.324967736816337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Per-scene optimization methods such as 3D Gaussian Splatting provide state-of-the-art novel view synthesis quality but extrapolate poorly to under-observed areas. Methods that leverage generative priors to correct artifacts in these areas hold promise but currently suffer from two shortcomings. The first is scalability, as existing methods use image diffusion models or bidirectional video models that are limited in the number of views they can generate in a single pass (and thus require a costly iterative distillation process for consistency). The second is quality itself, as generators used in prior work tend to produce outputs that are inconsistent with existing scene content and fail entirely in completely unobserved regions. To solve these, we propose a two-stage pipeline that leverages two key insights. First, we train a powerful bidirectional generative model with a novel opacity mixing strategy that encourages consistency with existing observations while retaining the model's ability to extrapolate novel content in unseen areas. Second, we distill it into a causal auto-regressive model that generates hundreds of frames in a single pass. This model can directly produce novel views or serve as pseudo-supervision to improve the underlying 3D representation in a simple and highly efficient manner. We evaluate our method extensively and demonstrate that it can generate plausible reconstructions in scenarios where existing approaches fail completely. When measured on commonly benchmarked datasets, we outperform existing all existing baselines by a wide margin, exceeding prior state-of-the-art methods by 1-3 dB PSNR.
- Abstract（参考訳）: 3Dガウススプラッティングのようなシーンごとの最適化手法は、最先端の斬新なビュー合成の質を提供するが、観測されていない領域への外挿は不十分である。
これらの領域の正しいアーティファクトに生成の先行を活用できる手法には、約束があるが、現在は2つの欠点に悩まされている。
1つはスケーラビリティであり、既存の方法は画像拡散モデルまたは双方向ビデオモデルを使用しており、これは単一のパスで生成できるビューの数を制限する(したがって一貫性のためにコストのかかる反復蒸留プロセスを必要とする)。
2つ目は、前処理で使用されるジェネレータが既存のシーンコンテンツと矛盾せず、完全に観測されていない領域で完全に失敗する出力を生成する傾向があるため、品質そのものである。
これらを解決するために,2つの重要な洞察を利用する2段階のパイプラインを提案する。
まず,新たな不透明度混合戦略を取り入れた強力な双方向生成モデルをトレーニングし,既存の観測結果との整合性を高めつつ,未知の領域で新規コンテンツを外挿する能力を維持する。
第二に、これを因果自己回帰モデルに蒸留し、1回のパスで数百フレームを生成する。
このモデルは、新しいビューを直接生成したり、疑似スーパービジョンとして機能して、基礎となる3D表現をシンプルかつ高効率に改善することができる。
提案手法を広範に評価し,既存の手法が完全に失敗するシナリオにおいて,妥当な再構築を実現できることを示す。
一般にベンチマークされたデータセットで測定すると、既存のベースライン全てを広いマージンで上回り、1-3dBのPSNRで最先端の手法を上回ります。
関連論文リスト
- BetterScene: 3D Scene Synthesis with Representation-Aligned Generative Model [3.7515646463759698]
我々は,高度にスパースで制約のない写真を用いて,多様な現実世界のシーンに対して,新しいビュー合成(NVS)の品質を高めるアプローチであるBetterSceneを提案する。
BetterSceneは、数十億のフレームで事前訓練されたプロダクション対応の安定ビデオ拡散(SVD)モデルを強力なバックボーンとして活用する。
我々は,挑戦的なDL3DV-10Kデータセットを評価し,最先端手法と比較して優れた性能を示した。
論文 参考訳（メタデータ） (2026-02-26T03:58:42Z) - G4Splat: Geometry-Guided Gaussian Splatting with Generative Prior [53.762256749551284]
我々は,3次元シーン再構成を効果的に活用するための基本的な前提条件として,正確な幾何学を同定する。
生成パイプライン全体にこの幾何学的ガイダンスを導入し、可視性マスク推定を改善し、新しいビュー選択をガイドし、ビデオ拡散モデルに着色した場合の多視点一貫性を向上させる。
本手法は,屋内および屋外の両方のシナリオにおいて,高い一般化性を有するシングルビュー入力とアンポーズ映像を自然にサポートする。
論文 参考訳（メタデータ） (2025-10-14T03:06:28Z) - OracleGS: Grounding Generative Priors for Sparse-View Gaussian Splatting [78.70702961852119]
OracleGSは、Gaussian Splattingのスパースビューのために、生成的完全性と回帰的忠実性を調整している。
提案手法は,多視点幾何学的証拠に先立って強力な生成条件を定め,幻覚的アーティファクトをフィルタリングし,非拘束領域における可塑性完備を保存している。
論文 参考訳（メタデータ） (2025-09-27T11:19:32Z) - Taming generative video models for zero-shot optical flow extraction [28.176290134216995]
将来のフレーム予測のためにのみ訓練された自己教師付きビデオモデルは、微調整なしで、出力フローを誘導することができる。
対実世界モデル(CWM)パラダイムに触発されて、我々はこのアイデアを生成型ビデオモデルに拡張する。
KLトラシング(KL-tracing)は、局所摂動を第1フレームに注入し、モデルを第1ステップでロールアウトし、摂動分布と非退化予測分布の間のクルバック・リーブラー分岐を計算する、新しいテストタイムプロシージャである。
論文 参考訳（メタデータ） (2025-07-11T23:59:38Z) - RI3D: Few-Shot Gaussian Splatting With Repair and Inpainting Diffusion Priors [13.883695200241524]
RI3Dは拡散モデルのパワーを生かした新しい手法であり、入力画像のスパースセットが与えられた場合、高品質な新規ビューを再構築する。
我々の重要な貢献は、ビュー合成プロセスを可視領域を再構築し、行方不明領域を幻覚させる2つのタスクに分けることである。
我々は、様々な場面において最先端のアプローチよりも優れた、目に見える領域と欠落する領域の両方で、詳細なテクスチャで結果を生成する。
論文 参考訳（メタデータ） (2025-03-13T20:16:58Z) - SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images [49.7344030427291]
単一画像の3Dオブジェクト再構成の問題点について検討する。
最近の研究は回帰モデルと生成モデルという2つの方向に分かれている。
両方向を最大限に活用するための新しい2段階アプローチであるSPAR3Dを提案する。
論文 参考訳（メタデータ） (2025-01-08T18:52:03Z) - DSplats: 3D Generation by Denoising Splats-Based Multiview Diffusion Models [67.50989119438508]
本稿では,ガウスをベースとしたレコンストラクタを用いて,リアルな3Dアセットを生成することで,マルチビュー画像を直接認識するDSplatを紹介した。
実験の結果,DSplatsは高品質で空間的に一貫した出力を生成できるだけでなく,単一画像から3次元再構成への新たな標準も設定できることがわかった。
論文 参考訳（メタデータ） (2024-12-11T07:32:17Z) - GECO: Generative Image-to-3D within a SECOnd [51.20830808525894]
本稿では,1秒以内に動作する高品質な3次元生成モデリング手法GECOを紹介する。
GECOは、前例のないレベルの効率で高品質な3Dメッシュ生成を実現する。
論文 参考訳（メタデータ） (2024-05-30T17:58:00Z) - Generative Novel View Synthesis with 3D-Aware Diffusion Models [96.78397108732233]
単一入力画像から3D対応の新規ビュー合成のための拡散モデルを提案する。
提案手法は既存の2次元拡散バックボーンを利用するが,重要な点として,幾何学的先行を3次元特徴体積の形で組み込む。
新たなビュー生成に加えて,本手法は3次元一貫性シーケンスを自己回帰的に合成する機能を備えている。
論文 参考訳（メタデータ） (2023-04-05T17:15:47Z) - Bridging Implicit and Explicit Geometric Transformation for Single-Image View Synthesis [16.14528024065244]
シーソー」問題:再計画されたコンテンツを保存し、現実的なアウトオブビュー領域を完成させる。
本稿では,効率的な非自己回帰モデルを用いて,シーソー問題を緩和する単一画像ビュー合成フレームワークを提案する。
我々の損失関数は、明示的特徴が暗黙的特徴の再投影領域を改善し、暗黙的特徴が明示的特徴のアウト・オブ・ビュー領域を改善することを促進する。
論文 参考訳（メタデータ） (2022-09-15T07:35:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。