論文の概要: Human Pose Descriptions and Subject-Focused Attention for Improved Zero-Shot Transfer in Human-Centric Classification Tasks

• arxiv url: http://arxiv.org/abs/2403.06904v3
• Date: Mon, 28 Oct 2024 22:58:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:37:04.845290
• Title: Human Pose Descriptions and Subject-Focused Attention for Improved Zero-Shot Transfer in Human-Centric Classification Tasks
• Title（参考訳）: 人文・人文・人文・人文・人文・人文・人文・人文・人文・人文・人文・人文・人文・人文・人文・人文の分類作業におけるゼロショット転送の改善
• Authors: Muhammad Saif Ullah Khan, Muhammad Ferjad Naeem, Federico Tombari, Luc Van Gool, Didier Stricker, Muhammad Zeshan Afzal,
• Abstract要約: 補助属性のみを用いて画像中の人体ポーズの文脈記述を作成するための新しいパイプラインを提案する。 CLIPを用いたゼロショット人間中心分類におけるポーズ記述の有効性を実証する。 我々のモデルはMPII Pose Descriptionsデータセットで事前訓練され、ゼロショット性能は5つの未確認データセットで評価された。
• 参考スコア（独自算出の注目度）: 89.1896982106731
• License:
• Abstract: We present a novel LLM-based pipeline for creating contextual descriptions of human body poses in images using only auxiliary attributes. This approach facilitates the creation of the MPII Pose Descriptions dataset, which includes natural language annotations for 17,367 images containing people engaged in 410 distinct activities. We demonstrate the effectiveness of our pose descriptions in enabling zero-shot human-centric classification using CLIP. Moreover, we introduce the FocusCLIP framework, which incorporates Subject-Focused Attention (SFA) in CLIP for improved text-to-image alignment. Our models were pretrained on the MPII Pose Descriptions dataset and their zero-shot performance was evaluated on five unseen datasets covering three tasks. FocusCLIP outperformed the baseline CLIP model, achieving an average accuracy increase of 8.61\% (33.65\% compared to CLIP's 25.04\%). Notably, our approach yielded improvements of 3.98\% in activity recognition, 14.78\% in age classification, and 7.06\% in emotion recognition. These results highlight the potential of integrating detailed pose descriptions and subject-level guidance into general pretraining frameworks for enhanced performance in downstream tasks.
• Abstract（参考訳）: 補助属性のみを用いて画像中の人体ポーズを文脈的に記述するLLMベースのパイプラインを提案する。 このアプローチは、MPII Pose Descriptionsデータセットの作成を容易にする。これは、410の異なるアクティビティに従事している人々を含む17,367のイメージに対する自然言語アノテーションを含む。 CLIPを用いたゼロショット人間中心分類におけるポーズ記述の有効性を実証する。 さらに,CLIPにFocused Attention (SFA)を組み込んだFocusCLIPフレームワークを導入し,テキストと画像のアライメントを改善した。 我々のモデルはMPII Pose Descriptionsデータセットで事前訓練され、そのゼロショット性能は3つのタスクをカバーする5つの未確認データセットで評価された。 FocusCLIPはベースラインCLIPモデルより優れ、平均精度は8.61\%(CLIPの25.04\%に比べて33.65\%)向上した。 特に,行動認識の3.98\%,年齢分類の14.78\%,感情認識の7.06\%の改善が得られた。 これらの結果は、ダウンストリームタスクにおけるパフォーマンス向上のために、詳細なポーズ記述と主題レベルのガイダンスを一般的な事前学習フレームワークに統合する可能性を強調している。

関連論文リスト

• FALIP: Visual Prompt as Foveal Attention Boosts CLIP Zero-Shot Performance [7.041364616661048]
  Foveal-Attention CLIP (FALIP) は、多頭部自己注意モジュールに葉の注意マスクを挿入することにより、CLIPの注意を調節する。 FALIPは、表現理解、画像分類、3Dポイントクラウド認識などのタスクにおいて、CLIPゼロショットのパフォーマンスを効果的に向上する。
  論文  参考訳（メタデータ） (2024-07-08T03:23:13Z)
• SCLIP: Rethinking Self-Attention for Dense Vision-Language Inference [11.453253140479166]
  セマンティックセグメンテーションにおけるコントラッシブ言語イメージ事前学習の可能性を高める。 自己注意を再考することで、CLIPは密集した予測タスクに適応できることがわかった。 従来のCLIPビジョンエンコーダの自己保持ブロックをCSAモジュールで置き換える。
  論文  参考訳（メタデータ） (2023-12-04T03:18:46Z)
• HAP: Structure-Aware Masked Image Modeling for Human-Centric Perception [97.55089867970874]
  本稿では,この課題に対する事前学習手法として,マスク付き画像モデリング(MIM)を導入する。 この知見に触発され、人間の前部である直感的な人体構造を事前学習に組み込む。 これにより、モデルが事前トレーニング中に身体構造情報に集中し、さまざまな人間中心の知覚タスクに実質的な利益をもたらす。
  論文  参考訳（メタデータ） (2023-10-31T17:56:11Z)
• CLIP meets Model Zoo Experts: Pseudo-Supervision for Visual Enhancement [65.47237619200442]
  Contrastive Language Image Pretraining (CLIP)は、視覚言語モデルを訓練するための標準手法である。 モデル動物園からのタスク固有の視覚モデルを用いてCLIPトレーニングを強化し、視覚的表現を改善する。 この単純なセットアップは、異なるビジョンタスク間で最大16.3%の大幅な改善を示している。
  論文  参考訳（メタデータ） (2023-10-21T20:20:13Z)
• CLAIR: Evaluating Image Captions with Large Language Models [69.46906537973518]
  本稿では,機械生成画像のキャプション評価手法であるCLAIRを提案する。 本評価では, CLAIRは, 従来の指標と比較して, キャプション品質の人的判断と強い相関性を示した。 Clairは、言語モデルが割り当てられたスコアの背後にある根底にある推論を識別できるようにすることで、ノイズに解釈可能な結果を提供する。
  論文  参考訳（メタデータ） (2023-10-19T17:59:01Z)
• Boosting Visual-Language Models by Exploiting Hard Samples [126.35125029639168]
  HELIPは、既存のCLIPモデルの性能を高めるための費用対効果戦略である。 我々の方法では、既存のモデルのトレーニングパイプラインと懸命に統合できます。 包括的なベンチマークでは、HELIPはパフォーマンス向上のために既存のモデルを継続的に強化する。
  論文  参考訳（メタデータ） (2023-05-09T07:00:17Z)
• Learning Customized Visual Models with Retrieval-Augmented Knowledge [104.05456849611895]
  我々は、ターゲットドメイン用にカスタマイズされたビジュアルモデルを構築するための、関連するWeb知識を取得するためのフレームワークであるREACTを提案する。 我々は、Webスケールデータベースから最も関連性の高い画像テキストペアを外部知識として検索し、元の重みをすべて凍結しながら、新しいモジュール化されたブロックをトレーニングするだけで、モデルをカスタマイズすることを提案する。 REACTの有効性は、ゼロ、少数、フルショット設定を含む分類、検索、検出、セグメンテーションタスクに関する広範な実験を通じて実証される。
  論文  参考訳（メタデータ） (2023-01-17T18:59:06Z)
• CALIP: Zero-Shot Enhancement of CLIP with Parameter-free Attention [31.84299688413136]
  コントラスト言語-画像事前学習は、大きな伝達性を持つ視覚表現を学習することが示されている。 既存の作業では、CLIPに新たな学習可能なモジュールを提案し、数ショットのトレーニングセットでそれらを微調整する。 本稿では,パラメータフリーアテンションモジュールを通じてCLIPのゼロショット性能を向上させるために,フリーランチ拡張手法であるCALIPを導入する。
  論文  参考訳（メタデータ） (2022-09-28T15:22:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。