論文の概要: Generative Zoo

• arxiv url: http://arxiv.org/abs/2412.08101v1
• Date: Wed, 11 Dec 2024 04:57:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:03:32.428822
• Title: Generative Zoo
• Title（参考訳）: ジェネレーティブ動物園
• Authors: Tomasz Niewiadomski, Anastasios Yiannakidis, Hanz Cuevas-Velasquez, Soubhik Sanyal, Michael J. Black, Silvia Zuffi, Peter Kulits,
• Abstract要約: 各種の哺乳類の四足動物に対して多様なポーズと形状の集合をサンプリングするパイプラインを導入し,それに対応する接地トルースポーズと形状パラメータを用いたリアルな画像を生成する。 我々はGenZoo上で3Dポーズと形状回帰器を訓練し、実際の動物のポーズと形状推定ベンチマーク上で最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 41.65977386204797
• License:
• Abstract: The model-based estimation of 3D animal pose and shape from images enables computational modeling of animal behavior. Training models for this purpose requires large amounts of labeled image data with precise pose and shape annotations. However, capturing such data requires the use of multi-view or marker-based motion-capture systems, which are impractical to adapt to wild animals in situ and impossible to scale across a comprehensive set of animal species. Some have attempted to address the challenge of procuring training data by pseudo-labeling individual real-world images through manual 2D annotation, followed by 3D-parameter optimization to those labels. While this approach may produce silhouette-aligned samples, the obtained pose and shape parameters are often implausible due to the ill-posed nature of the monocular fitting problem. Sidestepping real-world ambiguity, others have designed complex synthetic-data-generation pipelines leveraging video-game engines and collections of artist-designed 3D assets. Such engines yield perfect ground-truth annotations but are often lacking in visual realism and require considerable manual effort to adapt to new species or environments. Motivated by these shortcomings, we propose an alternative approach to synthetic-data generation: rendering with a conditional image-generation model. We introduce a pipeline that samples a diverse set of poses and shapes for a variety of mammalian quadrupeds and generates realistic images with corresponding ground-truth pose and shape parameters. To demonstrate the scalability of our approach, we introduce GenZoo, a synthetic dataset containing one million images of distinct subjects. We train a 3D pose and shape regressor on GenZoo, which achieves state-of-the-art performance on a real-world animal pose and shape estimation benchmark, despite being trained solely on synthetic data. https://genzoo.is.tue.mpg.de
• Abstract（参考訳）: 画像からの3次元動物のポーズと形状のモデルに基づく推定は、動物の行動の計算的モデリングを可能にする。 この目的のためのトレーニングモデルは、正確なポーズと形状のアノテーションを持つ大量のラベル付き画像データを必要とする。 しかし、このようなデータをキャプチャするには、多視点またはマーカーベースのモーションキャプチャシステムを使用する必要がある。 手動2Dアノテーションによる擬似ラベル付き実世界のイメージによるトレーニングデータ取得の課題に対処する試みや,それらのラベルに対する3Dパラメータ最適化も試みている。 このアプローチはシルエットに整合したサンプルを生成する可能性があるが、得られたポーズと形状パラメータは、単分子フィッティング問題の不正な性質のため、しばしば不明瞭である。 現実世界の曖昧さを横取りする一方で、ビデオゲームエンジンとアーティストが設計した3Dアセットのコレクションを活用した複雑な合成データ生成パイプラインを設計した者もいる。 このようなエンジンは完全な地平線アノテーションをもたらすが、しばしば視覚的リアリズムに欠け、新しい種や環境に適応するためにかなりの手作業を必要とする。 これらの欠点に乗じて,条件付き画像生成モデルによるレンダリングという,合成データ生成の代替手法を提案する。 各種の哺乳類の四足動物に対して多様なポーズと形状の集合をサンプリングするパイプラインを導入し,それに対応する接地トルースポーズと形状パラメータを用いたリアルな画像を生成する。 提案手法のスケーラビリティを実証するため,異なる対象の100万枚の画像を含む合成データセットであるGenZooを紹介した。 我々はGenZooで3Dポーズと形状回帰器を訓練し、合成データのみに訓練されているにもかかわらず、実世界の動物のポーズと形状推定ベンチマークで最先端のパフォーマンスを達成する。 https://genzoo.is.tue.mpg.de

関連論文リスト

• ZebraPose: Zebra Detection and Pose Estimation using only Synthetic Data [0.2302001830524133]
  3次元シミュレータで生成された合成データを用いて、ゼブラの検知と2次元ポーズ推定の両方に使用できる最初の合成データセットを得る。 複数の実世界および合成データセット上で検出と2次元ポーズ推定モデルを広範囲にトレーニングし、ベンチマークする。 これらの実験は、スクラッチから訓練されたモデルと合成データのみで、ゼブラの実際の画像に一貫して一般化できることを示す。
  論文  参考訳（メタデータ） (2024-08-20T13:28:37Z)
• Animal Avatars: Reconstructing Animatable 3D Animals from Casual Videos [26.65191922949358]
  モノクロビデオからアニマタブルな犬用アバターを構築する方法を提案する。 動物は様々な(予測不可能な)非剛体運動を示し、外観の詳細を持っているため、これは難しい。 我々は,動物のポーズの変化と外観を共同で解決する4Dソリューションを用いて,映像フレームをリンクする手法を開発した。
  論文  参考訳（メタデータ） (2024-03-25T18:41:43Z)
• 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
  本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。 生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
  論文  参考訳（メタデータ） (2024-03-17T06:31:16Z)
• Learning the 3D Fauna of the Web [70.01196719128912]
  3D-Faunaは,100種以上の動物種を対象に,パンカテゴリーで変形可能な3D動物モデルを共同で学習する手法である。 動物モデリングにおける重要なボトルネックの1つは、トレーニングデータの可用性の制限である。 従来のカテゴリー固有の試みは,訓練画像に制限のある希少種への一般化に失敗することを示す。
  論文  参考訳（メタデータ） (2024-01-04T18:32:48Z)
• Virtual Pets: Animatable Animal Generation in 3D Scenes [84.0990909455833]
  仮想ペット(Virtual Pet)は、3次元環境下での標的動物種に対する現実的で多様な動きをモデル化するための新しいパイプラインである。 我々はモノクロインターネットビデオを活用し、背景と背景の静的なNeRF表現に対して変形可能なNeRF表現を抽出する。 我々は,種レベルの共有テンプレート学習とビデオ毎の微調整を含む再構築戦略を開発する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:30Z)
• Animal3D: A Comprehensive Dataset of 3D Animal Pose and Shape [32.11280929126699]
  哺乳類の3Dポーズと形状推定のための包括的データセットであるAnimal3Dを提案する。 動物3Dは、40種の哺乳類から収集された3379枚の画像、26個のキーポイントの高品質なアノテーション、特にSMALモデルのポーズと形状パラメータで構成されている。 The Animal3D data based on the Animal3D dataset, we benchmark representative shape and pose Estimation model at (1) 教師付き学習, (2) 合成画像から実写への変換, 3) 微調整された人間のポーズと形状推定モデル。
  論文  参考訳（メタデータ） (2023-08-22T18:57:07Z)
• Prior-Aware Synthetic Data to the Rescue: Animal Pose Estimation with Very Limited Real Data [18.06492246414256]
  そこで本研究では,対象動物からの実際の画像のみを必要とする四足歩行におけるポーズ推定のためのデータ効率のよい戦略を提案する。 ImageNetのような一般的な画像データセットに事前トレーニングされた重み付きバックボーンネットワークを微調整することで、ターゲット動物のポーズデータに対する高い需要を軽減できることが確認された。 そこで我々はPASynと呼ばれる先行認識型合成動物データ生成パイプラインを導入し,ロバストポーズ推定に不可欠な動物のポーズデータを増やした。
  論文  参考訳（メタデータ） (2022-08-30T01:17:50Z)
• Disentangled3D: Learning a 3D Generative Model with Disentangled Geometry and Appearance from Monocular Images [94.49117671450531]
  最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。 本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
  論文  参考訳（メタデータ） (2022-03-29T22:03:18Z)
• Deformation-aware Unpaired Image Translation for Pose Estimation on Laboratory Animals [56.65062746564091]
  我々は,神経回路が行動をどのようにオーケストレーションするかを研究するために,手動による監督を使わずに,神経科学モデル生物のポーズを捉えることを目的としている。 我々の重要な貢献は、未完成の画像翻訳フレームワークにおける外観、形状、ポーズの明示的で独立したモデリングである。 ショウジョウバエ(ハエ)、線虫(線虫)、ダニオ・レリオ(ゼブラフィッシュ)のポーズ推定精度の向上を実証した。
  論文  参考訳（メタデータ） (2020-01-23T15:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。