論文の概要: Animal3D: A Comprehensive Dataset of 3D Animal Pose and Shape

• arxiv url: http://arxiv.org/abs/2308.11737v2
• Date: Sun, 21 Jan 2024 04:55:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 21:03:02.860060
• Title: Animal3D: A Comprehensive Dataset of 3D Animal Pose and Shape
• Title（参考訳）: Animal3D:3Dの動物写真と形状の総合データセット
• Authors: Jiacong Xu, Yi Zhang, Jiawei Peng, Wufei Ma, Artur Jesslen, Pengliang Ji, Qixin Hu, Jiehua Zhang, Qihao Liu, Jiahao Wang, Wei Ji, Chen Wang, Xiaoding Yuan, Prakhar Kaushik, Guofeng Zhang, Jie Liu, Yushan Xie, Yawen Cui, Alan Yuille, Adam Kortylewski
• Abstract要約: 哺乳類の3Dポーズと形状推定のための包括的データセットであるAnimal3Dを提案する。 動物3Dは、40種の哺乳類から収集された3379枚の画像、26個のキーポイントの高品質なアノテーション、特にSMALモデルのポーズと形状パラメータで構成されている。 The Animal3D data based on the Animal3D dataset, we benchmark representative shape and pose Estimation model at (1) 教師付き学習, (2) 合成画像から実写への変換, 3) 微調整された人間のポーズと形状推定モデル。
• 参考スコア（独自算出の注目度）: 32.11280929126699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurately estimating the 3D pose and shape is an essential step towards understanding animal behavior, and can potentially benefit many downstream applications, such as wildlife conservation. However, research in this area is held back by the lack of a comprehensive and diverse dataset with high-quality 3D pose and shape annotations. In this paper, we propose Animal3D, the first comprehensive dataset for mammal animal 3D pose and shape estimation. Animal3D consists of 3379 images collected from 40 mammal species, high-quality annotations of 26 keypoints, and importantly the pose and shape parameters of the SMAL model. All annotations were labeled and checked manually in a multi-stage process to ensure highest quality results. Based on the Animal3D dataset, we benchmark representative shape and pose estimation models at: (1) supervised learning from only the Animal3D data, (2) synthetic to real transfer from synthetically generated images, and (3) fine-tuning human pose and shape estimation models. Our experimental results demonstrate that predicting the 3D shape and pose of animals across species remains a very challenging task, despite significant advances in human pose estimation. Our results further demonstrate that synthetic pre-training is a viable strategy to boost the model performance. Overall, Animal3D opens new directions for facilitating future research in animal 3D pose and shape estimation, and is publicly available.
• Abstract（参考訳）: 3Dの姿勢と形状を正確に推定することは動物行動を理解するための重要なステップであり、野生生物保護のような下流の多くの応用に利益をもたらす可能性がある。 しかし、この分野の研究は、高品質な3dポーズと形状アノテーションを備えた包括的で多様なデータセットが欠如していることから遠ざかっている。 本稿では,哺乳類の3Dポーズと形状推定のための包括的データセットであるAnimal3Dを提案する。 動物3Dは、40種の哺乳類から収集された3379枚の画像、26個のキーポイントの高品質なアノテーション、特にSMALモデルのポーズと形状パラメータで構成されている。 すべてのアノテーションはマルチステージプロセスで手動でラベル付けされチェックされ、高品質な結果が得られます。 The Animal3D data based on the Animal3D dataset, we benchmark representative shape and pose Estimation model at (1) 教師付き学習, (2) 合成画像から実写への変換, 3) 微調整された人間のポーズと形状推定モデル。 実験の結果, 個体間の3次元形状と姿勢の予測は, ヒトの姿勢推定の大幅な進歩にもかかわらず, 極めて困難な課題であることがわかった。 さらに, 合成事前学習は, モデル性能を高めるための有効な戦略であることを示す。 全体として、animal3dは動物の3dポーズと形状推定の将来の研究を促進するための新しい方向を開き、一般公開されている。

関連論文リスト

• Learning the 3D Fauna of the Web [70.01196719128912]
  3D-Faunaは,100種以上の動物種を対象に,パンカテゴリーで変形可能な3D動物モデルを共同で学習する手法である。 動物モデリングにおける重要なボトルネックの1つは、トレーニングデータの可用性の制限である。 従来のカテゴリー固有の試みは,訓練画像に制限のある希少種への一般化に失敗することを示す。
  論文  参考訳（メタデータ） (2024-01-04T18:32:48Z)
• Virtual Pets: Animatable Animal Generation in 3D Scenes [84.0990909455833]
  仮想ペット(Virtual Pet)は、3次元環境下での標的動物種に対する現実的で多様な動きをモデル化するための新しいパイプラインである。 我々はモノクロインターネットビデオを活用し、背景と背景の静的なNeRF表現に対して変形可能なNeRF表現を抽出する。 我々は,種レベルの共有テンプレート学習とビデオ毎の微調整を含む再構築戦略を開発する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:30Z)
• Two-stage Synthetic Supervising and Multi-view Consistency Self-supervising based Animal 3D Reconstruction by Single Image [30.997936022365018]
  本研究では,2段階指導と自己監督訓練を組み合わせることで,動物による3Dスキャンの課題に対処する。 本研究は,鳥の3次元ディジタル化の定量的・定性的側面において,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-22T07:06:38Z)
• SketchANIMAR: Sketch-based 3D Animal Fine-Grained Retrieval [17.286320102183502]
  我々は,スケッチクエリを用いたデータセットから関連する3D動物モデルを取得することに焦点を当てた,新しいSHRECチャレンジトラックを紹介した。 本コンテストでは,複雑かつ詳細なスケッチに基づいて,参加者が3Dモデルを取得する必要がある。 8つのチームから満足のいく結果が得られ、204回が実行されます。
  論文  参考訳（メタデータ） (2023-04-12T09:40:38Z)
• LASSIE: Learning Articulated Shapes from Sparse Image Ensemble via 3D Part Discovery [72.3681707384754]
  そこで,本研究では,特定の動物種について,数枚の画像のみを用いて,動物の3次元ポーズと形状を推定する現実的な問題設定を提案する。 我々は2Dや3Dの地平線アノテーションを前提としないし、多視点や時間的情報も利用しない。 そこで本研究では,3次元部品を自己監督的に発見する新しい最適化フレームワークLASSIEを提案する。
  論文  参考訳（メタデータ） (2022-07-07T17:00:07Z)
• Heuristic Weakly Supervised 3D Human Pose Estimation [13.82540778667711]
  弱教師付き3D人間のポーズ(HW-HuP)ソリューションは、3Dのポーズデータが入手できない場合に3Dのポーズを推定する。 HW-HuPは,ヒトのベッドでのポーズと野生での幼児のポーズという,3次元のポーズデータが得られにくい2つの実践的な環境で,最先端のモデルにおいて有意義に改善されていることを示す。
  論文  参考訳（メタデータ） (2021-05-23T18:40:29Z)
• Cascaded deep monocular 3D human pose estimation with evolutionary training data [76.3478675752847]
  深層表現学習は単眼の3次元ポーズ推定において顕著な精度を達成した。 本稿では,大量のトレーニングデータに対してスケーラブルな新しいデータ拡張手法を提案する。 本手法は,先行知識に触発された階層的人体表現と合成に基づいて,未知の3次元人体骨格を合成する。
  論文  参考訳（メタデータ） (2020-06-14T03:09:52Z)
• Towards Generalization of 3D Human Pose Estimation In The Wild [73.19542580408971]
  3DBodyTex.Poseは、3Dの人間のポーズ推定のタスクに対処するデータセットである。 3DBodyTex.Poseは、さまざまな衣服やポーズで405種類の実際の被写体を含む高品質でリッチなデータを提供する。
  論文  参考訳（メタデータ） (2020-04-21T13:31:58Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。