論文の概要: GenFusion: Closing the Loop between Reconstruction and Generation via Videos
- arxiv url: http://arxiv.org/abs/2503.21219v2
- Date: Sat, 29 Mar 2025 12:18:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 13:14:21.802206
- Title: GenFusion: Closing the Loop between Reconstruction and Generation via Videos
- Title（参考訳）: GenFusion:ビデオで再現と生成のループを閉じる
- Authors: Sibo Wu, Congrong Xu, Binbin Huang, Andreas Geiger, Anpei Chen,
- Abstract要約: 本稿では,再現性のあるRGB-Dレンダリングにおける映像フレームの条件付けを学習する再構成駆動型ビデオ拡散モデルを提案する。
また、生成モデルからトレーニングセットへの復元フレームを反復的に追加する循環核融合パイプラインを提案する。
- 参考スコア（独自算出の注目度）: 24.195304481751602
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, 3D reconstruction and generation have demonstrated impressive novel view synthesis results, achieving high fidelity and efficiency. However, a notable conditioning gap can be observed between these two fields, e.g., scalable 3D scene reconstruction often requires densely captured views, whereas 3D generation typically relies on a single or no input view, which significantly limits their applications. We found that the source of this phenomenon lies in the misalignment between 3D constraints and generative priors. To address this problem, we propose a reconstruction-driven video diffusion model that learns to condition video frames on artifact-prone RGB-D renderings. Moreover, we propose a cyclical fusion pipeline that iteratively adds restoration frames from the generative model to the training set, enabling progressive expansion and addressing the viewpoint saturation limitations seen in previous reconstruction and generation pipelines. Our evaluation, including view synthesis from sparse view and masked input, validates the effectiveness of our approach. More details at https://genfusion.sibowu.com.
- Abstract（参考訳）: 近年, 3次元再構成と生成は, 高い忠実度と効率性を実現し, 目覚ましいビュー合成結果を示している。
しかし、例えば、スケーラブルな3Dシーン再構成は、しばしば密集したビューを必要とするが、3D生成は通常、単一のまたは全くの入力ビューに依存しており、それらはアプリケーションを大幅に制限する。
この現象の原因は,3次元制約と生成前との相違にあることが判明した。
この問題に対処するために,アーティファクトのRGB-Dレンダリング上でビデオフレームの条件付けを学習する再構成駆動型ビデオ拡散モデルを提案する。
さらに, 生成モデルからトレーニングセットへの復元フレームを反復的に追加し, 進行的拡張を可能にし, 以前の再構成・生成パイプラインに見られる視点飽和制限に対処する循環核融合パイプラインを提案する。
スパースビューからのビュー合成とマスク入力を含む評価により,本手法の有効性が検証された。
詳細はhttps://genfusion.sibowu.comを参照。
関連論文リスト
- FlowR: Flowing from Sparse to Dense 3D Reconstructions [60.6368083163258]
本稿では,新しいビューレンダリングを高密度再構成で期待するレンダリングに接続するフローを学習するフローマッチングモデルを提案する。
我々のモデルは3.6Mイメージペアの新たなデータセットに基づいてトレーニングされており、単一のフォワードパスで1つのH100 GPU上で540x960解像度(91Kトークン)で45ビューまで処理できる。
論文 参考訳（メタデータ） (2025-04-02T11:57:01Z) - Difix3D+: Improving 3D Reconstructions with Single-Step Diffusion Models [65.90387371072413]
本稿では,3次元再構成と新規ビュー合成を向上する新しいパイプラインであるDifix3D+を紹介する。
このアプローチのコアとなるのは、レンダリングされた新規ビューにおけるアーティファクトの強化と削除のためにトレーニングされた、単一ステップのイメージ拡散モデルであるDifixです。
論文 参考訳（メタデータ） (2025-03-03T17:58:33Z) - Wonderland: Navigating 3D Scenes from a Single Image [43.99037613068823]
本研究では,映像拡散モデルからの潜伏分を利用した大規模再構成モデルを導入し,映像の3次元ガウススプラッティングをフィードフォワードで予測する。
プログレッシブ・ラーニング・ストラテジーを用いて3次元再構成モデルをトレーニングし,高品質でワイドスコープ,ジェネリックな3次元シーンの効率的な生成を可能にする。
論文 参考訳（メタデータ） (2024-12-16T18:58:17Z) - Pragmatist: Multiview Conditional Diffusion Models for High-Fidelity 3D Reconstruction from Unposed Sparse Views [23.94629999419033]
スパースから3D構造を推定すると、制約のない性質のため、予期せぬ観測は困難である。
近年,データ駆動型入力から暗黙の表現を直接予測し,有望な結果を得る方法が提案されている。
本研究では,限られた入力ビューから完全な観測結果を生成し,再構成を容易にする条件付き新規なビュー合成を提案する。
論文 参考訳（メタデータ） (2024-12-11T14:30:24Z) - 3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors [13.191199172286508]
新規ビュー合成は、複数の入力画像やビデオからシーンの新しいビューを生成することを目的としている。
3DGS-Enhancerは、3DGS表現の表現品質を向上させるための新しいパイプラインである。
論文 参考訳（メタデータ） (2024-10-21T17:59:09Z) - ReconX: Reconstruct Any Scene from Sparse Views with Video Diffusion Model [16.14713604672497]
ReconXは、時間生成タスクとして曖昧な再構築課題を再編成する、新しい3Dシーン再構築パラダイムである。
提案したReconXはまずグローバルポイントクラウドを構築し、3D構造条件としてコンテキスト空間にエンコードする。
この条件に導かれ、ビデオ拡散モデルは、ディテール保存され、高い3D一貫性を示すビデオフレームを合成する。
論文 参考訳（メタデータ） (2024-08-29T17:59:40Z) - MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation [54.27399121779011]
本稿では,多視点RGB-D画像の生成モデルを用いて,単視点3次元推論を行うMVD-Fusionを提案する。
提案手法は,蒸留に基づく3D推論や先行多視点生成手法など,最近の最先端技術と比較して,より正確な合成を実現することができることを示す。
論文 参考訳（メタデータ） (2024-04-04T17:59:57Z) - SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。
この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。
そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
論文 参考訳（メタデータ） (2024-03-29T09:20:29Z) - Denoising Diffusion via Image-Based Rendering [54.20828696348574]
実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。
まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。
第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-05T19:00:45Z) - UNeR3D: Versatile and Scalable 3D RGB Point Cloud Generation from 2D
Images in Unsupervised Reconstruction [2.7848140839111903]
UNeR3Dは、2Dビューのみから詳細な3D再構成を生成するための新しい標準を設定している。
私たちのモデルは、教師付きアプローチに関連するトレーニングコストを大幅に削減します。
UNeR3Dはシームレスな色遷移を保証し、視力を高める。
論文 参考訳（メタデータ） (2023-12-10T15:18:55Z) - ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。
提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。
本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
論文 参考訳（メタデータ） (2023-12-05T18:59:58Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳（メタデータ） (2022-11-28T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。