論文の概要: DreaMo: Articulated 3D Reconstruction From A Single Casual Video
- arxiv url: http://arxiv.org/abs/2312.02617v2
- Date: Thu, 7 Dec 2023 15:52:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 17:56:16.012530
- Title: DreaMo: Articulated 3D Reconstruction From A Single Casual Video
- Title(参考訳): dreamo: 単一のカジュアルビデオから3d再構成する
- Authors: Tao Tu, Ming-Feng Li, Chieh Hubert Lin, Yen-Chi Cheng, Min Sun,
Ming-Hsuan Yang
- Abstract要約: 対象者の視界が不完全である単一かつカジュアルに捉えたインターネットビデオから3次元形状の連続的再構成について検討した。
DreaMoは、ノベルビューレンダリング、詳細な形状復元、骨格生成において有望な品質を示している。
- 参考スコア(独自算出の注目度): 59.87221439498147
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Articulated 3D reconstruction has valuable applications in various domains,
yet it remains costly and demands intensive work from domain experts. Recent
advancements in template-free learning methods show promising results with
monocular videos. Nevertheless, these approaches necessitate a comprehensive
coverage of all viewpoints of the subject in the input video, thus limiting
their applicability to casually captured videos from online sources. In this
work, we study articulated 3D shape reconstruction from a single and casually
captured internet video, where the subject's view coverage is incomplete. We
propose DreaMo that jointly performs shape reconstruction while solving the
challenging low-coverage regions with view-conditioned diffusion prior and
several tailored regularizations. In addition, we introduce a skeleton
generation strategy to create human-interpretable skeletons from the learned
neural bones and skinning weights. We conduct our study on a self-collected
internet video collection characterized by incomplete view coverage. DreaMo
shows promising quality in novel-view rendering, detailed articulated shape
reconstruction, and skeleton generation. Extensive qualitative and quantitative
studies validate the efficacy of each proposed component, and show existing
methods are unable to solve correct geometry due to the incomplete view
coverage.
- Abstract(参考訳): articulated 3d reconstructionは様々な領域で有用な用途があるが、コストがかかり、ドメインの専門家からの集中的な作業を要求する。
テンプレートフリー学習手法の最近の進歩は単眼ビデオで有望な結果を示している。
それにもかかわらず、これらのアプローチは、入力ビデオにおける対象のすべての視点を包括的にカバーする必要があるため、オンラインソースからカジュアルにキャプチャされたビデオに適用可能である。
本研究では,被写体の視野範囲が不完全である単眼映像とカジュアル映像の3次元形状復元について検討した。
そこで本稿では,複数の調整済み正則化を前もって,難解な低被覆領域を解決しつつ,形状再構成を共同で行うドリーモを提案する。
さらに、学習した神経骨と皮膚重量から人間の解釈可能な骨格を作成するための骨格生成戦略を導入する。
我々は,不完全なビューカバレッジを特徴とする自己収集型インターネットビデオコレクションに関する研究を行っている。
DreaMoは、ノベルビューレンダリング、詳細な形状復元、骨格生成において有望な品質を示している。
広範囲な質的定量的研究は各成分の有効性を検証し、既存の手法では不完全な視野範囲のため正確な幾何学を解決できないことを示した。
関連論文リスト
- 3DFIRES: Few Image 3D REconstruction for Scenes with Hidden Surface [8.824340350342512]
3DFIRESは、ポーズ画像からシーンレベルの3D再構成を行う新しいシステムである。
単一視点再構成法の有効性を1つの入力で示す。
論文 参考訳(メタデータ) (2024-03-13T17:59:50Z) - Diffusion-Guided Reconstruction of Everyday Hand-Object Interaction
Clips [38.02945794078731]
短いビデオクリップから手動物体のインタラクションを再構築する作業に取り組む。
提案手法は,映像ごとの3D推論を最適化し,物体形状のニューラルな3D表現を復元する。
我々は、エゴセントリックビデオに対する我々のアプローチを実証的に評価し、以前のシングルビュー法やマルチビュー法よりも大幅に改善されていることを観察した。
論文 参考訳(メタデータ) (2023-09-11T17:58:30Z) - A Fusion of Variational Distribution Priors and Saliency Map Replay for
Continual 3D Reconstruction [1.3812010983144802]
単一画像からの3次元物体形状の予測に焦点をあてた研究課題である。
このタスクは、形状の可視部分と隠蔽部分の両方を予測するために、重要なデータ取得を必要とする。
本稿では,従来のクラスを新しいクラスで学習した後でも合理的に再構築できる変分優先を用いたモデルの設計を目標とする,連続的な学習に基づく3D再構成手法を提案する。
論文 参考訳(メタデータ) (2023-08-17T06:48:55Z) - State of the Art in Dense Monocular Non-Rigid 3D Reconstruction [100.9586977875698]
モノクル2D画像から変形可能なシーン(または非剛体)の3D再構成は、コンピュータビジョンとグラフィックスの長年、活発に研究されてきた領域である。
本研究は,モノクラー映像やモノクラービューの集合から,様々な変形可能な物体や複合シーンを高密度に非剛性で再現するための最先端の手法に焦点を当てる。
論文 参考訳(メタデータ) (2022-10-27T17:59:53Z) - MonoNeuralFusion: Online Monocular Neural 3D Reconstruction with
Geometric Priors [41.228064348608264]
本稿では,モノクロ映像からの高忠実度オンライン3次元シーン再構築のためのボリュームレンダリングを備えたニューラル暗黙シーン表現を提案する。
きめ細かい再現のために、我々の重要な洞察は、幾何的先行をニューラル暗黙のシーン表現とニューラルボリュームレンダリングの両方に組み込むことである。
MonoNeuralFusionは、量的にも質的にも、ずっと優れた完全かつきめ細かい再構築結果を生成する。
論文 参考訳(メタデータ) (2022-09-30T00:44:26Z) - LASR: Learning Articulated Shape Reconstruction from a Monocular Video [97.92849567637819]
1つのビデオから3d形状を学習するためのテンプレートフリー手法を提案する。
本手法は,人間,動物,未知のクラスの映像から,非剛体3D構造を忠実に再構築する。
論文 参考訳(メタデータ) (2021-05-06T21:41:11Z) - Learning monocular 3D reconstruction of articulated categories from
motion [39.811816510186475]
ビデオの自己スーパービジョンは、動きに基づくサイクルロスによる連続した3次元再構成の一貫性を強要する。
少数の局所的学習可能なハンドルの変位を介して3D表面を制御する3Dテンプレート変形の解釈可能なモデルを紹介します。
多様な形状, 視点, テクスチャを具体化して, 複数の対象カテゴリーのテクスチャを再現する。
論文 参考訳(メタデータ) (2021-03-30T13:50:27Z) - Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes [87.91841050957714]
本稿では,ダイナミックシーンの深度推定のための非監視単眼フレームワークを提案する。
再構成した3次元点間の対数距離を日和見的に保存することを目的とした訓練目標を導出する。
提案手法は,非剛性シーンの挑戦的な映像から3Dを再構成する能力を実証し,有望な結果を提供する。
論文 参考訳(メタデータ) (2020-12-31T16:02:03Z) - Overcomplete Representations Against Adversarial Videos [72.04912755926524]
敵対ビデオ(OUDefend)に対する防御のための新しいオーバー・アンド・アンダー完全修復ネットワークを提案します。
OUDefendは、これらの2つの表現を学習することで、ローカル機能とグローバル機能のバランスをとるように設計されている。
実験の結果,画像に焦点をあてた防御はビデオに効果がない可能性があるが,oudefendは異なるタイプの敵ビデオに対して頑健性を高める。
論文 参考訳(メタデータ) (2020-12-08T08:00:17Z) - Consistent Video Depth Estimation [57.712779457632024]
モノクロ映像中の全画素に対して, 密度, 幾何的に整合した深度を再構成するアルゴリズムを提案する。
動画中の画素の幾何的制約を確立するために、従来の動きから再構成した構造を利用する。
我々のアルゴリズムは、手持ちの映像をある程度のダイナミックな動きで処理することができる。
論文 参考訳(メタデータ) (2020-04-30T17:59:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。