論文の概要: CASA: Category-agnostic Skeletal Animal Reconstruction

• arxiv url: http://arxiv.org/abs/2211.03568v1
• Date: Fri, 4 Nov 2022 15:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 18:31:30.529673
• Title: CASA: Category-agnostic Skeletal Animal Reconstruction
• Title（参考訳）: CASA : カテゴリー別骨格動物再建
• Authors: Yuefan Wu, Zeyuan Chen, Shaowei Liu, Zhongzheng Ren, Shenlong Wang
• Abstract要約: CASAは2つの主要構成要素からなる新しいカテゴリー非依存性骨格動物再構築法である。 推測中、CASAはまず3Dキャラクタ資産銀行から調音形状を検索する。 CASAは取得した文字を逆グラフィックフレームワークに統合し、最適化を通じて形状変形、骨格構造、およびスキンウェイトを共同推論する。
• 参考スコア（独自算出の注目度）: 26.370523451625466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recovering the skeletal shape of an animal from a monocular video is a longstanding challenge. Prevailing animal reconstruction methods often adopt a control-point driven animation model and optimize bone transforms individually without considering skeletal topology, yielding unsatisfactory shape and articulation. In contrast, humans can easily infer the articulation structure of an unknown animal by associating it with a seen articulated character in their memory. Inspired by this fact, we present CASA, a novel Category-Agnostic Skeletal Animal reconstruction method consisting of two major components: a video-to-shape retrieval process and a neural inverse graphics framework. During inference, CASA first retrieves an articulated shape from a 3D character assets bank so that the input video scores highly with the rendered image, according to a pretrained language-vision model. CASA then integrates the retrieved character into an inverse graphics framework and jointly infers the shape deformation, skeleton structure, and skinning weights through optimization. Experiments validate the efficacy of CASA regarding shape reconstruction and articulation. We further demonstrate that the resulting skeletal-animated characters can be used for re-animation.
• Abstract（参考訳）: 単眼映像から動物の骨格形状を復元することは長年の課題である。 一般的な動物再建法は、しばしば制御ポイント駆動のアニメーションモデルを採用し、骨格トポロジーを考慮せずに骨変換を個別に最適化し、不十分な形状と調音をもたらす。 対照的に、人間は未知の動物の調音構造を記憶の中の明瞭な特徴と関連付けることで容易に推測することができる。 この事実に触発されたcasaは,ビデオから形状への検索プロセスとニューラル・インバース・グラフィックス・フレームワークという2つの主要な構成要素からなる,カテゴリーに依存しない新しい骨格動物再構成手法である。 CASAは、まず、3Dキャラクタ資産銀行から調音形状を検索し、予め訓練された言語ビジョンモデルに従って、入力ビデオがレンダリングされた画像と高いスコアを得る。 CASAは取得した文字を逆グラフィックフレームワークに統合し、最適化を通じて形状変形、骨格構造、およびスキンウェイトを共同推論する。 形状再構成と調音に関するCASAの有効性を検証する実験。 さらに、結果の骨格アニメーション文字が再アニメーションに使用できることを示す。

関連論文リスト

• ARTS: Semi-Analytical Regressor using Disentangled Skeletal Representations for Human Mesh Recovery from Videos [18.685856290041283]
  ARTSは、一般的なベンチマークにおけるフレーム単位の精度と時間的一貫性の両方において、既存の最先端のビデオベースの手法を超越している。 ビデオから3Dスケルトンを推定するために,スケルトン推定およびアンタングルメントモジュールを提案する。 回帰器は、Temporal Inverse Kinematics (TIK), bone-guided Shape Fitting (BSF), Motion-Centric Refinement (MCR)の3つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2024-10-21T02:06:43Z)
• REACTO: Reconstructing Articulated Objects from a Single Video [64.89760223391573]
  関節の柔軟な変形を維持しつつ各部の剛性を向上する新しい変形モデルを提案する。 提案手法は, 従来よりも高忠実度な3D再構成を実現する上で, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-04-17T08:01:55Z)
• Animal Avatars: Reconstructing Animatable 3D Animals from Casual Videos [26.65191922949358]
  モノクロビデオからアニマタブルな犬用アバターを構築する方法を提案する。 動物は様々な(予測不可能な)非剛体運動を示し、外観の詳細を持っているため、これは難しい。 我々は,動物のポーズの変化と外観を共同で解決する4Dソリューションを用いて,映像フレームをリンクする手法を開発した。
  論文  参考訳（メタデータ） (2024-03-25T18:41:43Z)
• Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion Modeling [83.76377808476039]
  本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。 動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。 混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
  論文  参考訳（メタデータ） (2023-08-18T16:41:57Z)
• Hi-LASSIE: High-Fidelity Articulated Shape and Skeleton Discovery from Sparse Image Ensemble [72.3681707384754]
  Hi-LASSIEは、ユーザーが定義した形状やスケルトンテンプレートを使わずに、野生の20～30のオンライン画像から3Dで再現する。 まず,手動でアノテートした3Dスケルトンに頼る代わりに,選択した基準画像からクラス固有のスケルトンを自動的に推定する。 第二に、各インスタンスに忠実に適合する新しいインスタンス固有の最適化戦略により、形状再構成を改善する。
  論文  参考訳（メタデータ） (2022-12-21T14:31:33Z)
• DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to the Third Dimension [71.71234436165255]
  DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。 3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。 我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
  論文  参考訳（メタデータ） (2021-08-31T18:33:55Z)
• Learning Skeletal Articulations with Neural Blend Shapes [57.879030623284216]
  あらかじめ定義された骨格構造を有するエンベロープを用いて3次元文字を表現できるニューラルテクニックを開発している。 我々のフレームワークは、同じ調音構造を持つリグとスキンキャラクタを学習する。 関節領域の変形品質を向上させるニューラルブレンディング形状を提案します。
  論文  参考訳（メタデータ） (2021-05-06T05:58:13Z)
• Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering [53.16864661460889]
  近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。 本稿では,ボディセグメンテーションを重要な監視対象として紹介する。 部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
  論文  参考訳（メタデータ） (2020-03-24T14:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。