論文の概要: LiftImage3D: Lifting Any Single Image to 3D Gaussians with Video Generation Priors

• arxiv url: http://arxiv.org/abs/2412.09597v1
• Date: Thu, 12 Dec 2024 18:58:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:31:15.932541
• Title: LiftImage3D: Lifting Any Single Image to 3D Gaussians with Video Generation Priors
• Title（参考訳）: LiftImage3D:1枚の画像を3Dガウシアンにリフティング
• Authors: Yabo Chen, Chen Yang, Jiemin Fang, Xiaopeng Zhang, Lingxi Xie, Wei Shen, Wenrui Dai, Hongkai Xiong, Qi Tian,
• Abstract要約: シングルイメージの3D再構成は、コンピュータビジョンの根本的な課題である。 遅延ビデオ拡散モデルの最近の進歩は、大規模ビデオデータから学ぶ有望な3D事前情報を提供する。 本稿では,LVDMの生成先行情報を効果的にリリースするフレームワークであるLiftImage3Dを提案する。
• 参考スコア（独自算出の注目度）: 107.83398512719981
• License:
• Abstract: Single-image 3D reconstruction remains a fundamental challenge in computer vision due to inherent geometric ambiguities and limited viewpoint information. Recent advances in Latent Video Diffusion Models (LVDMs) offer promising 3D priors learned from large-scale video data. However, leveraging these priors effectively faces three key challenges: (1) degradation in quality across large camera motions, (2) difficulties in achieving precise camera control, and (3) geometric distortions inherent to the diffusion process that damage 3D consistency. We address these challenges by proposing LiftImage3D, a framework that effectively releases LVDMs' generative priors while ensuring 3D consistency. Specifically, we design an articulated trajectory strategy to generate video frames, which decomposes video sequences with large camera motions into ones with controllable small motions. Then we use robust neural matching models, i.e. MASt3R, to calibrate the camera poses of generated frames and produce corresponding point clouds. Finally, we propose a distortion-aware 3D Gaussian splatting representation, which can learn independent distortions between frames and output undistorted canonical Gaussians. Extensive experiments demonstrate that LiftImage3D achieves state-of-the-art performance on two challenging datasets, i.e. LLFF, DL3DV, and Tanks and Temples, and generalizes well to diverse in-the-wild images, from cartoon illustrations to complex real-world scenes.
• Abstract（参考訳）: 単一画像の3D再構成は、固有の幾何学的曖昧さと限られた視点情報のために、コンピュータビジョンの基本的な課題である。 遅延ビデオ拡散モデル(LVDM)の最近の進歩は、大規模ビデオデータから学ぶ有望な3D先行情報を提供する。 しかし,これらの先行手法を効果的に活用することは,(1)大型カメラ運動における品質低下,(2)精密カメラ制御の難しさ,(3)3次元の一貫性を損なう拡散過程に固有の幾何学的歪みの3つの重要な課題に直面する。 本稿は,LVDMの生成先行情報を効果的にリリースするフレームワークであるLiftImage3Dを提案することで,これらの課題に対処する。 具体的には、ビデオフレームを生成するための調音トラジェクトリ戦略を設計し、大きなカメラモーションの映像シーケンスを制御可能な小さなモーションの映像に分解する。 次に、ロバストなニューラルマッチングモデル、すなわちMASt3Rを使用して、生成されたフレームのカメラポーズを校正し、対応する点雲を生成する。 最後に、フレーム間の独立な歪みを学習し、歪みのない正規ガウスを出力できる歪み対応の3Dガウススプラッティング表現を提案する。 大規模な実験により、LiftImage3DはLLFF、DL3DV、タンク・アンド・テンプルという2つの挑戦的なデータセットで最先端のパフォーマンスを達成し、漫画のイラストから複雑な現実世界のシーンまで、さまざまな範囲のイメージにうまく応用できることを示した。

関連論文リスト

• F3D-Gaus: Feed-forward 3D-aware Generation on ImageNet with Cycle-Consistent Gaussian Splatting [35.625593119642424]
  本稿では,モノケプラーデータセットから3次元認識を一般化する問題に取り組む。 画素整列型ガウススプラッティングに基づく新しいフィードフォワードパイプラインを提案する。 また、学習した3D表現において、クロスビューの一貫性を強制するために、自己教師付きサイクル一貫性制約を導入する。
  論文  参考訳（メタデータ） (2025-01-12T04:44:44Z)
• Deblur4DGS: 4D Gaussian Splatting from Blurry Monocular Video [64.38566659338751]
  Deblur4DGSという,ぼやけたモノクロビデオから高品質な4Dモデルを再構成するための,最初の4Dガウス分割フレームワークを提案する。 本稿では,多面的,多面的整合性,多面的,多面的,多面的な整合性を実現するために露光規則化を導入し,斬新な視点以外では,デブレア4DGSは,デブロアリング,フレーム合成,ビデオ安定化など,多面的な視点からぼやけた映像を改善するために応用できる。
  論文  参考訳（メタデータ） (2024-12-09T12:02:11Z)
• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• Hi3D: Pursuing High-Resolution Image-to-3D Generation with Video Diffusion Models [112.2625368640425]
  High- resolution Image-to-3D model (Hi3D) はビデオ拡散に基づく新しいパラダイムであり、単一の画像を3D対応シーケンシャル画像生成としてマルチビュー画像に再定義する。 Hi3Dは事前に学習した映像拡散モデルを3D対応で強化し、低解像度のテクスチャディテールを持つマルチビュー画像を生成する。
  論文  参考訳（メタデータ） (2024-09-11T17:58:57Z)
• Enhancing Temporal Consistency in Video Editing by Reconstructing Videos with 3D Gaussian Splatting [94.84688557937123]
  Video-3DGSは、ゼロショットビデオエディタの時間的一貫性を高めるために設計された3Dガウススプラッティング(3DGS)ベースのビデオ精細機である。 本手法は動的モノクロビデオの編集に適した2段階の3次元ガウス最適化プロセスを利用する。 58の動的モノクロビデオ間の時間的一貫性を確保することで、ビデオ編集を強化する。
  論文  参考訳（メタデータ） (2024-06-04T17:57:37Z)
• DiffTF++: 3D-aware Diffusion Transformer for Large-Vocabulary 3D Generation [53.20147419879056]
  拡散型フィードフォワードフレームワークを導入し,単一モデルで課題に対処する。 TransFormerを用いた3D対応拡散モデルを構築し,より強力な3D生成,すなわちDiffTF++を提案する。 ShapeNetとOmniObject3Dの実験は、提案したモジュールの有効性を確実に実証している。
  論文  参考訳（メタデータ） (2024-05-13T17:59:51Z)
• Rig3DGS: Creating Controllable Portraits from Casual Monocular Videos [33.779636707618785]
  我々はRig3DGSを導入し、カジュアルなスマートフォンビデオからコントロール可能な3D人間の肖像画を作成する。 鍵となる革新は、慎重に設計された変形法であり、3次元形態素モデルから派生した学習可能な先行モデルによって導かれる。 定量的および定性的な実験によって学習した変形の有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-06T05:40:53Z)
• Towards Robust and Smooth 3D Multi-Person Pose Estimation from Monocular Videos in the Wild [10.849750765175754]
  POTR-3Dは3DMPPEのためのシーケンスツーシーケンス2D-to-3Dリフトモデルである。 多様な見えないビューに強く一般化し、重いオクルージョンに対するポーズを強く回復し、より自然でスムーズなアウトプットを確実に生成する。
  論文  参考訳（メタデータ） (2023-09-15T06:17:22Z)
• StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis [92.25145204543904]
  StyleNeRFは高解像度画像合成のための3次元認識型生成モデルである。 ニューラル放射場(NeRF)をスタイルベースジェネレータに統合する。 高品質な3D一貫性を維持しながら、対話的な速度で高解像度画像を合成することができる。
  論文  参考訳（メタデータ） (2021-10-18T02:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。