論文の概要: UVRM: A Scalable 3D Reconstruction Model from Unposed Videos

• arxiv url: http://arxiv.org/abs/2501.09347v1
• Date: Thu, 16 Jan 2025 08:00:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:10:18.453803
• Title: UVRM: A Scalable 3D Reconstruction Model from Unposed Videos
• Title（参考訳）: UVRM: 未公開ビデオからのスケーラブルな3D再構成モデル
• Authors: Shiu-hong Kao, Xiao Li, Jinglu Wang, Chi-Keung Tang, Yu-Wing Tai, Yan Lu,
• Abstract要約: 従来の2次元視覚データを用いた3D再構成モデルのトレーニングには、トレーニングサンプルのカメラポーズに関する事前知識が必要である。 UVRMは、ポーズに関する情報を必要とせず、単眼ビデオでトレーニングし、評価できる新しい3D再構成モデルである。
• 参考スコア（独自算出の注目度）: 69.89526627921612
• License:
• Abstract: Large Reconstruction Models (LRMs) have recently become a popular method for creating 3D foundational models. Training 3D reconstruction models with 2D visual data traditionally requires prior knowledge of camera poses for the training samples, a process that is both time-consuming and prone to errors. Consequently, 3D reconstruction training has been confined to either synthetic 3D datasets or small-scale datasets with annotated poses. In this study, we investigate the feasibility of 3D reconstruction using unposed video data of various objects. We introduce UVRM, a novel 3D reconstruction model capable of being trained and evaluated on monocular videos without requiring any information about the pose. UVRM uses a transformer network to implicitly aggregate video frames into a pose-invariant latent feature space, which is then decoded into a tri-plane 3D representation. To obviate the need for ground-truth pose annotations during training, UVRM employs a combination of the score distillation sampling (SDS) method and an analysis-by-synthesis approach, progressively synthesizing pseudo novel-views using a pre-trained diffusion model. We qualitatively and quantitatively evaluate UVRM's performance on the G-Objaverse and CO3D datasets without relying on pose information. Extensive experiments show that UVRM is capable of effectively and efficiently reconstructing a wide range of 3D objects from unposed videos.
• Abstract（参考訳）: 大規模再構成モデル (LRMs) は近年, 3次元基礎モデル作成の一般的な手法となっている。 従来の2次元視覚データを用いた3D再構成モデルのトレーニングには、トレーニングサンプルのカメラポーズに関する事前知識が必要である。 その結果、3D再構成トレーニングは、合成された3Dデータセットか、注釈付きポーズを持つ小規模データセットに限られている。 本研究では,様々な物体の映像データを用いた3次元再構成の実現可能性について検討した。 UVRMは、ポーズに関する情報を必要とせず、単眼ビデオでトレーニングし、評価できる新しい3D再構成モデルである。 UVRMは、ビデオフレームを暗黙的にポーズ不変の潜在特徴空間に集約するためにトランスフォーマーネットワークを使用し、それをトリプレーン3D表現にデコードする。 UVRMは、トレーニング中に接地トルースポーズアノテーションの必要性を避けるため、スコア蒸留サンプリング(SDS)法と分析バイシンセシス法を組み合わせて、事前訓練された拡散モデルを用いて疑似ノベルビューを段階的に合成する。 我々は,ポーズ情報に頼ることなく,G-ObjaverseおよびCO3Dデータセット上でのUVRMの性能を質的に定量的に評価した。 広汎な実験により、UVRMはアンポーズビデオから広範囲の3Dオブジェクトを効果的に、効率的に再構築できることが示された。

関連論文リスト

• SpaRP: Fast 3D Object Reconstruction and Pose Estimation from Sparse Views [36.02533658048349]
  本研究では,3次元テクスチャメッシュを再構成し,スパースビュー画像に対する相対カメラのポーズを推定する新しい手法であるSpaRPを提案する。 SpaRPは2次元拡散モデルから知識を抽出し、それらを微調整し、スパースビュー間の3次元空間関係を暗黙的に推論する。 テクスチャ化されたメッシュを生成するのに、わずか20秒しかかからず、カメラは入力ビューにポーズする。
  論文  参考訳（メタデータ） (2024-08-19T17:53:10Z)
• Repeat and Concatenate: 2D to 3D Image Translation with 3D to 3D Generative Modeling [14.341099905684844]
  本稿では,2次元X線と3次元CTライクな再構成が可能な2次元-3次元画像変換法について,簡単な手法で検討する。 我々は,潜伏空間内の複数の2次元ビューにまたがる情報を統合する既存のアプローチが,潜伏符号化中に貴重な信号情報を失うことを観察する。代わりに,2次元ビューを高チャネルの3次元ボリュームに繰り返して,簡単な3次元から3次元生成モデル問題として3次元再構成課題にアプローチする。 この方法では、再構成された3Dボリュームが、2D入力から貴重な情報を保持でき、Swin Uのチャネル状態間で渡される。
  論文  参考訳（メタデータ） (2024-06-26T15:18:20Z)
• VFusion3D: Learning Scalable 3D Generative Models from Video Diffusion Models [20.084928490309313]
  本稿では,事前学習ビデオ拡散モデルを用いたスケーラブルな3次元生成モデル構築手法を提案する。 微調整により多視点生成能力を解放することにより、大規模な合成多視点データセットを生成し、フィードフォワード3D生成モデルを訓練する。 提案したモデルであるVFusion3Dは、ほぼ3Mの合成マルチビューデータに基づいて訓練され、単一の画像から数秒で3Dアセットを生成することができる。
  論文  参考訳（メタデータ） (2024-03-18T17:59:12Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Farm3D: Learning Articulated 3D Animals by Distilling 2D Diffusion [67.71624118802411]
  本稿では,カテゴリー固有の3D再構成器の学習方法であるFarm3Dについて述べる。 本稿では,Stable Diffusion などの画像生成装置を用いて,合成学習データを生成するフレームワークを提案する。 我々のネットワークは、単分子再構成や合成などの分析に利用でき、ビデオゲームのようなリアルタイムアプリケーションのための音響資産を生成することができる。
  論文  参考訳（メタデータ） (2023-04-20T17:59:34Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• SAIL-VOS 3D: A Synthetic Dataset and Baselines for Object Detection and 3D Mesh Reconstruction from Video Data [124.2624568006391]
  sail-vos 3d: フレーム毎のメッシュアノテーションを備えた合成ビデオデータセット。 また,時間モデルによる映像データから3次元メッシュを再構成するための最初のベースラインを開発した。
  論文  参考訳（メタデータ） (2021-05-18T15:42:37Z)
• Using Adaptive Gradient for Texture Learning in Single-View 3D Reconstruction [0.0]
  3次元モデル再構築のための学習ベースのアプローチは、現代の応用によって注目を集めている。 本稿では,サンプリング画像のばらつきに基づいて予測座標の勾配を最適化し,新しいサンプリングアルゴリズムを提案する。 また,frechetインセプション距離(fid)を用いて学習における損失関数を形成し,レンダリング画像と入力画像とのギャップを橋渡しする。
  論文  参考訳（メタデータ） (2021-04-29T07:52:54Z)
• Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation [107.07047303858664]
  3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。 既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。 結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
  論文  参考訳（メタデータ） (2020-04-07T20:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。