論文の概要: DreaMo: Articulated 3D Reconstruction From A Single Casual Video

• arxiv url: http://arxiv.org/abs/2312.02617v2
• Date: Thu, 7 Dec 2023 15:52:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 17:56:16.012530
• Title: DreaMo: Articulated 3D Reconstruction From A Single Casual Video
• Title（参考訳）: dreamo: 単一のカジュアルビデオから3d再構成する
• Authors: Tao Tu, Ming-Feng Li, Chieh Hubert Lin, Yen-Chi Cheng, Min Sun, Ming-Hsuan Yang
• Abstract要約: 対象者の視界が不完全である単一かつカジュアルに捉えたインターネットビデオから3次元形状の連続的再構成について検討した。 DreaMoは、ノベルビューレンダリング、詳細な形状復元、骨格生成において有望な品質を示している。
• 参考スコア（独自算出の注目度）: 59.87221439498147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Articulated 3D reconstruction has valuable applications in various domains, yet it remains costly and demands intensive work from domain experts. Recent advancements in template-free learning methods show promising results with monocular videos. Nevertheless, these approaches necessitate a comprehensive coverage of all viewpoints of the subject in the input video, thus limiting their applicability to casually captured videos from online sources. In this work, we study articulated 3D shape reconstruction from a single and casually captured internet video, where the subject's view coverage is incomplete. We propose DreaMo that jointly performs shape reconstruction while solving the challenging low-coverage regions with view-conditioned diffusion prior and several tailored regularizations. In addition, we introduce a skeleton generation strategy to create human-interpretable skeletons from the learned neural bones and skinning weights. We conduct our study on a self-collected internet video collection characterized by incomplete view coverage. DreaMo shows promising quality in novel-view rendering, detailed articulated shape reconstruction, and skeleton generation. Extensive qualitative and quantitative studies validate the efficacy of each proposed component, and show existing methods are unable to solve correct geometry due to the incomplete view coverage.
• Abstract（参考訳）: articulated 3d reconstructionは様々な領域で有用な用途があるが、コストがかかり、ドメインの専門家からの集中的な作業を要求する。 テンプレートフリー学習手法の最近の進歩は単眼ビデオで有望な結果を示している。 それにもかかわらず、これらのアプローチは、入力ビデオにおける対象のすべての視点を包括的にカバーする必要があるため、オンラインソースからカジュアルにキャプチャされたビデオに適用可能である。 本研究では,被写体の視野範囲が不完全である単眼映像とカジュアル映像の3次元形状復元について検討した。 そこで本稿では,複数の調整済み正則化を前もって,難解な低被覆領域を解決しつつ,形状再構成を共同で行うドリーモを提案する。 さらに、学習した神経骨と皮膚重量から人間の解釈可能な骨格を作成するための骨格生成戦略を導入する。 我々は,不完全なビューカバレッジを特徴とする自己収集型インターネットビデオコレクションに関する研究を行っている。 DreaMoは、ノベルビューレンダリング、詳細な形状復元、骨格生成において有望な品質を示している。 広範囲な質的定量的研究は各成分の有効性を検証し、既存の手法では不完全な視野範囲のため正確な幾何学を解決できないことを示した。

関連論文リスト

• COSMU: Complete 3D human shape from monocular unconstrained images [24.08612483445495]
  対象画像から完全な3次元人物形状を再構成するための新しい枠組みを提案する。 本研究の目的は、入力対象に見えない再建された人体の領域において、高品質な詳細を再現することである。
  論文  参考訳（メタデータ） (2024-07-15T10:06:59Z)
• MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild [32.6521941706907]
  モノクラーインザワイルドビデオから3Dで複数の人物を再構成する新しいフレームワークであるMultiPlyを提案する。 まず、シーン全体の階層化されたニューラル表現を定義し、個々の人間と背景モデルで合成する。 階層化可能なボリュームレンダリングを通じて,ビデオから階層化ニューラル表現を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:59:57Z)
• Part123: Part-aware 3D Reconstruction from a Single-view Image [54.589723979757515]
  Part123は、一視点画像から部分認識された3D再構成のための新しいフレームワークである。 ニューラルレンダリングフレームワークにコントラスト学習を導入し、部分認識機能空間を学習する。 クラスタリングに基づくアルゴリズムも開発され、再構成されたモデルから3次元部分分割結果を自動的に導出する。
  論文  参考訳（メタデータ） (2024-05-27T07:10:21Z)
• Total-Decom: Decomposed 3D Scene Reconstruction with Minimal Interaction [51.3632308129838]
  人間のインタラクションを最小限に抑えた3次元再構成法であるTotal-Decomを提案する。 提案手法は,Segment Anything Model (SAM) とハイブリッド型暗黙的なニューラルサーフェス表現をシームレスに統合し,メッシュベースの領域成長技術を用いて正確な3次元オブジェクト分解を行う。 提案手法をベンチマークデータセット上で広範囲に評価し,アニメーションやシーン編集などの下流アプリケーションの可能性を示す。
  論文  参考訳（メタデータ） (2024-03-28T11:12:33Z)
• A Fusion of Variational Distribution Priors and Saliency Map Replay for Continual 3D Reconstruction [1.2289361708127877]
  単一画像からの3次元物体形状の予測に焦点をあてた研究課題である。 このタスクは、形状の可視部分と隠蔽部分の両方を予測するために、重要なデータ取得を必要とする。 本稿では,従来のクラスを新しいクラスで学習した後でも合理的に再構築できる変分優先を用いたモデルの設計を目標とする,連続的な学習に基づく3D再構成手法を提案する。
  論文  参考訳（メタデータ） (2023-08-17T06:48:55Z)
• State of the Art in Dense Monocular Non-Rigid 3D Reconstruction [100.9586977875698]
  モノクル2D画像から変形可能なシーン(または非剛体)の3D再構成は、コンピュータビジョンとグラフィックスの長年、活発に研究されてきた領域である。 本研究は,モノクラー映像やモノクラービューの集合から,様々な変形可能な物体や複合シーンを高密度に非剛性で再現するための最先端の手法に焦点を当てる。
  論文  参考訳（メタデータ） (2022-10-27T17:59:53Z)
• LASR: Learning Articulated Shape Reconstruction from a Monocular Video [97.92849567637819]
  1つのビデオから3d形状を学習するためのテンプレートフリー手法を提案する。 本手法は,人間,動物,未知のクラスの映像から,非剛体3D構造を忠実に再構築する。
  論文  参考訳（メタデータ） (2021-05-06T21:41:11Z)
• Learning monocular 3D reconstruction of articulated categories from motion [39.811816510186475]
  ビデオの自己スーパービジョンは、動きに基づくサイクルロスによる連続した3次元再構成の一貫性を強要する。 少数の局所的学習可能なハンドルの変位を介して3D表面を制御する3Dテンプレート変形の解釈可能なモデルを紹介します。 多様な形状, 視点, テクスチャを具体化して, 複数の対象カテゴリーのテクスチャを再現する。
  論文  参考訳（メタデータ） (2021-03-30T13:50:27Z)
• Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes [87.91841050957714]
  本稿では,ダイナミックシーンの深度推定のための非監視単眼フレームワークを提案する。 再構成した3次元点間の対数距離を日和見的に保存することを目的とした訓練目標を導出する。 提案手法は,非剛性シーンの挑戦的な映像から3Dを再構成する能力を実証し,有望な結果を提供する。
  論文  参考訳（メタデータ） (2020-12-31T16:02:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。