論文の概要: Animal Avatars: Reconstructing Animatable 3D Animals from Casual Videos

• arxiv url: http://arxiv.org/abs/2403.17103v1
• Date: Mon, 25 Mar 2024 18:41:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 19:55:36.493778
• Title: Animal Avatars: Reconstructing Animatable 3D Animals from Casual Videos
• Title（参考訳）: 動物アバター:カジュアルビデオからアニマタブルな3D動物を再構築
• Authors: Remy Sabathier, Niloy J. Mitra, David Novotny,
• Abstract要約: モノクロビデオからアニマタブルな犬用アバターを構築する方法を提案する。 動物は様々な(予測不可能な)非剛体運動を示し、外観の詳細を持っているため、これは難しい。 我々は,動物のポーズの変化と外観を共同で解決する4Dソリューションを用いて,映像フレームをリンクする手法を開発した。
• 参考スコア（独自算出の注目度）: 26.65191922949358
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a method to build animatable dog avatars from monocular videos. This is challenging as animals display a range of (unpredictable) non-rigid movements and have a variety of appearance details (e.g., fur, spots, tails). We develop an approach that links the video frames via a 4D solution that jointly solves for animal's pose variation, and its appearance (in a canonical pose). To this end, we significantly improve the quality of template-based shape fitting by endowing the SMAL parametric model with Continuous Surface Embeddings, which brings image-to-mesh reprojection constaints that are denser, and thus stronger, than the previously used sparse semantic keypoint correspondences. To model appearance, we propose an implicit duplex-mesh texture that is defined in the canonical pose, but can be deformed using SMAL pose coefficients and later rendered to enforce a photometric compatibility with the input video frames. On the challenging CoP3D and APTv2 datasets, we demonstrate superior results (both in terms of pose estimates and predicted appearance) to existing template-free (RAC) and template-based approaches (BARC, BITE).
• Abstract（参考訳）: モノクロビデオからアニマタブルな犬用アバターを構築する方法を提案する。 動物は様々な(予測不可能な)非剛体運動を示し、外観の詳細(例えば毛皮、斑点、尾)を持っているため、これは難しい。 我々は,動物のポーズの変化と外観(標準的ポーズ)を共同で解決する4Dソリューションを通じて,ビデオフレームをリンクするアプローチを開発する。 そこで我々は,SMALパラメトリックモデルに連続面埋め込みを付与することにより,テンプレートベースの形状適合性を大幅に向上させる。 外観をモデル化するために、標準ポーズで定義される暗黙の二重メッシュテクスチャを提案するが、SMALポーズ係数を用いて変形し、後にレンダリングすることで、入力されたビデオフレームとの光度互換性を強制することができる。 挑戦的なCoP3DとAPTv2データセットでは、既存のテンプレートフリー(RAC)とテンプレートベースのアプローチ(BARC, BITE)に優れた結果(ポーズ推定と外観予測の両方)を示す。

関連論文リスト

• Ponymation: Learning 3D Animal Motions from Unlabeled Online Videos [50.83155160955368]
  生の未ラベルのオンラインビデオから3次元動物の動きを合成する新しい手法を提案する。 我々のモデルは、トレーニングのためにポーズアノテーションや形状モデルを一切必要とせず、インターネットから得られた生のビデオクリップのコレクションから純粋に学習する。
  論文  参考訳（メタデータ） (2023-12-21T06:44:18Z)
• Co-Evolution of Pose and Mesh for 3D Human Body Estimation from Video [23.93644678238666]
  ビデオから3次元の人間の動きを復元するPose and Mesh Co-Evolution Network (PMCE)を提案する。 提案したPMCEは、フレーム単位の精度と時間的一貫性の両方の観点から、従来の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-20T16:03:21Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
  神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。 異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。 本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
  論文  参考訳（メタデータ） (2023-04-17T13:49:04Z)
• NPC: Neural Point Characters from Video [21.470471345454524]
  高忠実な人間の3Dモデルは、ビデオから直接学ぶことができる。 以前の方法はテンプレートの使用を避けるが、観測から標準空間への高コストあるいは不適切なマッピングに依存していた。 アニマタブルな文字を再構成するためのハイブリッドなポイントベース表現を提案する。
  論文  参考訳（メタデータ） (2023-04-04T17:59:22Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• BANMo: Building Animatable 3D Neural Models from Many Casual Videos [135.64291166057373]
  本稿では,特殊なセンサや事前定義されたテンプレート形状を必要としないBANMoを提案する。 Banmoは、多くのモノクロカジュアルビデオから高忠実な3Dモデルを、差別化可能なレンダリングフレームワークで構築する。 実際のデータセットと合成データセットでは、BANMoは人間や動物の以前の研究よりも高忠実な3D再構成を示している。
  論文  参考訳（メタデータ） (2021-12-23T18:30:31Z)
• Coarse-to-fine Animal Pose and Shape Estimation [67.39635503744395]
  単一画像から3次元動物メッシュを再構成する粗大なアプローチを提案する。 粗い推定段階はまずSMALモデルのポーズ、形状、翻訳パラメータを推定する。 次に、推定メッシュをグラフ畳み込みネットワーク(GCN)によって開始点として使用し、精製段階における頂点毎の変形を予測する。
  論文  参考訳（メタデータ） (2021-11-16T01:27:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。