論文の概要: AP-CAP: Advancing High-Quality Data Synthesis for Animal Pose Estimation via a Controllable Image Generation Pipeline

• arxiv url: http://arxiv.org/abs/2504.00394v1
• Date: Tue, 01 Apr 2025 03:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:22:11.448443
• Title: AP-CAP: Advancing High-Quality Data Synthesis for Animal Pose Estimation via a Controllable Image Generation Pipeline
• Title（参考訳）: AP-CAP:制御可能な画像生成パイプラインによる動物行動推定のための高品質データ合成
• Authors: Lei Wang, Yujie Zhong, Xiaopeng Sun, Jingchun Cheng, Chengjian Feng, Qiong Cao, Lin Ma, Zhaoxin Fan,
• Abstract要約: 本稿では,動物ポーズ推定のための新しい制御可能な画像生成パイプライン,AP-CAPを提案する。 このパイプライン内では、期待されたポーズで画像を合成できるマルチモーダル動物画像生成モデルを導入する。 さらに, マルチソース表現を統合するモダリティ・フュージョン・アニマル画像合成戦略, 多様なポーズを動的に捉えるポス・アジャイメント・アニマル画像合成戦略, 視覚的セマンティック理解を強化するキャピオン・エンハンスメント・アニマル画像合成戦略の3つの革新的戦略を提案する。
• 参考スコア（独自算出の注目度）: 26.509823105406088
• License:
• Abstract: The task of 2D animal pose estimation plays a crucial role in advancing deep learning applications in animal behavior analysis and ecological research. Despite notable progress in some existing approaches, our study reveals that the scarcity of high-quality datasets remains a significant bottleneck, limiting the full potential of current methods. To address this challenge, we propose a novel Controllable Image Generation Pipeline for synthesizing animal pose estimation data, termed AP-CAP. Within this pipeline, we introduce a Multi-Modal Animal Image Generation Model capable of producing images with expected poses. To enhance the quality and diversity of the generated data, we further propose three innovative strategies: (1) Modality-Fusion-Based Animal Image Synthesis Strategy to integrate multi-source appearance representations, (2) Pose-Adjustment-Based Animal Image Synthesis Strategy to dynamically capture diverse pose variations, and (3) Caption-Enhancement-Based Animal Image Synthesis Strategy to enrich visual semantic understanding. Leveraging the proposed model and strategies, we create the MPCH Dataset (Modality-Pose-Caption Hybrid), the first hybrid dataset that innovatively combines synthetic and real data, establishing the largest-scale multi-source heterogeneous benchmark repository for animal pose estimation to date. Extensive experiments demonstrate the superiority of our method in improving both the performance and generalization capability of animal pose estimators.
• Abstract（参考訳）: 2次元動物のポーズ推定の課題は、動物の行動分析や生態学研究における深層学習の推進に重要な役割を果たしている。 既存のいくつかのアプローチの顕著な進歩にもかかわらず、我々の研究は、高品質なデータセットの不足が依然として重大なボトルネックであり、現在の手法の完全な可能性を制限することを明らかにしている。 この課題に対処するために,AP-CAPと呼ばれる動物のポーズ推定データを合成するための新しい制御可能な画像生成パイプラインを提案する。 このパイプライン内では、期待されたポーズで画像を生成するマルチモーダル動物画像生成モデルを導入する。 生成したデータの質と多様性を高めるため,(1)マルチソース表現を統合するモダリティ・フュージョン・アニマル画像合成戦略,(2)多様なポーズを動的に捉えるポス・アジャイメント・アニマル画像合成戦略,(3)視覚的意味理解を深めるキャピオン・エンハンスメント・アニマル画像合成戦略の3つの革新的戦略を提案する。 提案したモデルと戦略を活用して,合成データと実データを組み合わせた最初のハイブリッドデータセットMPCHデータセット(Modality-Pose-Caption Hybrid)を作成した。 動物ポーズ推定器の性能と一般化能力の向上に本手法が有効であることを示す。

関連論文リスト

• Can We Generate Images with CoT? Let's Verify and Reinforce Image Generation Step by Step [77.86514804787622]
  CoT(Chain-of-Thought)推論は、複雑な理解タスクに取り組むために大規模なモデルで広く研究されている。 自己回帰画像生成を促進するために,CoT推論の可能性について,初めて包括的調査を行った。 本稿では,自動回帰画像生成に特化したPARMとPARM++を提案する。
  論文  参考訳（メタデータ） (2025-01-23T18:59:43Z)
• Multi-Head Attention Driven Dynamic Visual-Semantic Embedding for Enhanced Image-Text Matching [0.8611782340880084]
  本研究は,MH-CVSE (Multi-Headed Consensus-Aware Visual-Semantic Embedding) を用いた視覚的セマンティック埋め込みモデルを提案する。 本モデルでは,コンセンサスを意識した視覚的セマンティック埋め込みモデル(CVSE)に基づくマルチヘッド自己認識機構を導入し,複数のサブ空間の情報を並列に取得する。 損失関数設計においては、MH-CVSEモデルは、損失値自体に応じて動的に重量を調整するために動的重量調整戦略を採用する。
  論文  参考訳（メタデータ） (2024-12-26T11:46:22Z)
• Generative Zoo [41.65977386204797]
  各種の哺乳類の四足動物に対して多様なポーズと形状の集合をサンプリングするパイプラインを導入し,それに対応する接地トルースポーズと形状パラメータを用いたリアルな画像を生成する。 我々はGenZoo上で3Dポーズと形状回帰器を訓練し、実際の動物のポーズと形状推定ベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-11T04:57:53Z)
• Categorical Keypoint Positional Embedding for Robust Animal Re-Identification [22.979350771097966]
  動物再同定(ReID)は生態学研究において欠かせない道具となっている。 ヒトのReIDとは異なり、動物のポーズの多様性の高さ、環境条件の多様性、動物データに事前訓練されたモデルを直接適用できないことなど、動物ReIDは重大な課題に直面している。 本研究は,1つの注釈付き事前学習拡散モデルを用いたキーポイント伝搬機構を導入する。
  論文  参考訳（メタデータ） (2024-12-01T14:09:00Z)
• Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
  ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。 合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。 提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
  論文  参考訳（メタデータ） (2024-03-28T22:25:05Z)
• Prior-Aware Synthetic Data to the Rescue: Animal Pose Estimation with Very Limited Real Data [18.06492246414256]
  そこで本研究では,対象動物からの実際の画像のみを必要とする四足歩行におけるポーズ推定のためのデータ効率のよい戦略を提案する。 ImageNetのような一般的な画像データセットに事前トレーニングされた重み付きバックボーンネットワークを微調整することで、ターゲット動物のポーズデータに対する高い需要を軽減できることが確認された。 そこで我々はPASynと呼ばれる先行認識型合成動物データ生成パイプラインを導入し,ロバストポーズ推定に不可欠な動物のポーズデータを増やした。
  論文  参考訳（メタデータ） (2022-08-30T01:17:50Z)
• A Visual Navigation Perspective for Category-Level Object Pose Estimation [41.60364392204057]
  本稿では,単一の単眼画像に基づくカテゴリレベルのオブジェクトポーズ推定について検討する。 ポーズ認識生成モデルの最近の進歩は、分析バイシンセシスを用いてこの課題に対処する方法を舗装している。
  論文  参考訳（メタデータ） (2022-03-25T10:57:37Z)
• Zoo-Tuning: Adaptive Transfer from a Zoo of Models [82.9120546160422]
  Zoo-Tuningは、事前訓練されたモデルのパラメータをターゲットタスクに適応的に転送することを学ぶ。 我々は、強化学習、画像分類、顔のランドマーク検出など、様々なタスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-06-29T14:09:45Z)
• IMAGINE: Image Synthesis by Image-Guided Model Inversion [79.4691654458141]
  IMGE-Guided Model INvErsion (IMAGINE) と呼ばれるインバージョンベースの手法を導入し、高品質で多様な画像を生成します。 我々は,事前学習した分類器から画像意味論の知識を活用し,妥当な世代を実現する。 IMAGINEは,1)合成中の意味的特異性制約を同時に実施し,2)ジェネレータトレーニングなしでリアルな画像を生成し,3)生成過程を直感的に制御する。
  論文  参考訳（メタデータ） (2021-04-13T02:00:24Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)
• Weakly-Supervised 3D Human Pose Learning via Multi-view Images in the Wild [101.70320427145388]
  本稿では、3Dアノテーションを必要としない弱教師付きアプローチを提案し、ラベルのないマルチビューデータから3Dポーズを推定する。 提案手法を2つの大規模データセット上で評価する。
  論文  参考訳（メタデータ） (2020-03-17T08:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。