論文の概要: PromptGAR: Flexible Promptive Group Activity Recognition

• arxiv url: http://arxiv.org/abs/2503.08933v1
• Date: Tue, 11 Mar 2025 22:26:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:39:27.247026
• Title: PromptGAR: Flexible Promptive Group Activity Recognition
• Title（参考訳）: PromptGAR:フレキシブルなグループアクティビティ認識
• Authors: Zhangyu Jin, Andrew Feng, Ankur Chemburkar, Celso M. De Melo,
• Abstract要約: 本稿では,現在のグループ活動認識(GAR)アプローチの限界に対処する新しいフレームワークであるPromptGARを紹介する。 PromptGARは、再トレーニングを必要とせずにプロンプト、フレーム、インスタンス間の入力柔軟性を提供する最初のGARモデルである。 総合的な評価は、PromptGARが完全なプロンプトと多様なプロンプトインプットの両方で競合性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 1.5673120894570851
• License:
• Abstract: We present PromptGAR, a novel framework that addresses the limitations of current Group Activity Recognition (GAR) approaches by leveraging multi-modal prompts to achieve both input flexibility and high recognition accuracy. The existing approaches suffer from limited real-world applicability due to their reliance on full prompt annotations, the lack of long-term actor consistency, and under-exploration of multi-group scenarios. To bridge the gap, we proposed PromptGAR, which is the first GAR model to provide input flexibility across prompts, frames, and instances without the need for retraining. Specifically, we unify bounding boxes, skeletal keypoints, and areas as point prompts and employ a recognition decoder for cross-updating class and prompt tokens. To ensure long-term consistency for extended activity durations, we also introduce a relative instance attention mechanism that directly encodes instance IDs. Finally, PromptGAR explores the use of area prompts to enable the selective recognition of the particular group activity within videos that contain multiple concurrent groups. Comprehensive evaluations demonstrate that PromptGAR achieves competitive performances both on full prompts and diverse prompt inputs, establishing its effectiveness on input flexibility and generalization ability for real-world applications.
• Abstract（参考訳）: PromptGARは,マルチモーダルプロンプトを利用して,入力の柔軟性と高い認識精度を実現することで,現在のグループ活動認識(GAR)アプローチの限界に対処する新しいフレームワークである。 既存のアプローチは、フルプロンプトアノテーションへの依存、長期アクターの一貫性の欠如、マルチグループシナリオの探索不足など、現実の応用性に制限がある。 このギャップを埋めるため、我々はプロンプト、フレーム、インスタンス間の入力柔軟性を提供する最初のGARモデルであるPromptGARを提案した。 具体的には、境界ボックス、骨格キーポイント、および領域をポイントプロンプトとして統一し、クラスを横断する認識デコーダを使用し、トークンをプロンプトする。 また,活動期間の長期的整合性を確保するために,インスタンスIDを直接エンコードする相対的インスタンスアテンション機構を導入する。 最後に、PromptGARは、複数の同時グループを含むビデオ内で特定のグループアクティビティの選択的認識を可能にするために、エリアプロンプトの使用を検討する。 総合的な評価は、PromptGARが完全なプロンプトと多様なプロンプトインプットの両方で競合性能を達成し、実際のアプリケーションにおける入力の柔軟性と一般化能力にその有効性を確立していることを示している。

関連論文リスト

• Adaptive Prompting for Continual Relation Extraction: A Within-Task Variance Perspective [23.79259400522239]
  本稿では,連続関係抽出における破滅的忘れに対処する新しい手法を提案する。 提案手法では各タスクにプロンプトプールを導入し,タスク内の変動を捉えるとともに,タスク間の差異を増大させる。
  論文  参考訳（メタデータ） (2024-12-11T11:00:33Z)
• Revisiting Prompt Pretraining of Vision-Language Models [13.888505919946578]
  本稿では、RPP(Revisiting Prompt Pretraining)と呼ばれる一般的なフレームワークを提案する。 RPPは、フィッティングと一般化能力の改善を、迅速な構造と迅速な監督という2つの側面から目標としている。 また,事前訓練されたコントラスト言語画像事前学習(CLIP)教師モデルによって提供されるゼロショット確率予測から得られたソフトラベルを利用する。
  論文  参考訳（メタデータ） (2024-09-10T02:36:13Z)
• Spatio-Temporal Context Prompting for Zero-Shot Action Detection [13.22912547389941]
  本稿では,視覚言語モデルの豊富な知識を効果的に活用し,対人インタラクションを実現する手法を提案する。 同時に複数の人物による異なる行動を認識するという課題に対処するために,興味あるトークンスポッティング機構を設計する。 提案手法は,従来の手法に比べて優れた結果を得ることができ,さらにマルチアクションビデオに拡張することができる。
  論文  参考訳（メタデータ） (2024-08-28T17:59:05Z)
• DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
  マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。 提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。 様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
  論文  参考訳（メタデータ） (2024-01-02T07:40:12Z)
• REACT: Recognize Every Action Everywhere All At Once [8.10024991952397]
  グループ・アクティビティ・デコーダ(GAR)はコンピュータビジョンにおける基本的な問題であり、スポーツ分析、監視、社会場面の理解に様々な応用がある。 本稿では,変換器エンコーダ・デコーダモデルにインスパイアされたREACTアーキテクチャを提案する。 提案手法は,グループ活動の認識と理解において優れた精度を示すとともに,最先端のGAR手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-11-27T20:48:54Z)
• Open-Vocabulary Animal Keypoint Detection with Semantic-feature Matching [74.75284453828017]
  Open-Vocabulary Keypoint Detection (OVKD)タスクは、任意の種類のキーポイントを特定するためにテキストプロンプトを使用するように設計されている。 セマンティック・フェールマッチング(KDSM)を用いた開語彙キーポイント検出(Open-Vocabulary Keypoint Detection)という新しいフレームワークを開発した。 このフレームワークは視覚と言語モデルを組み合わせて、言語機能とローカルキーポイント視覚機能との相互作用を作成する。
  論文  参考訳（メタデータ） (2023-10-08T07:42:41Z)
• M$^3$Net: Multi-view Encoding, Matching, and Fusion for Few-shot Fine-grained Action Recognition [80.21796574234287]
  M$3$Netは、FS-FGアクション認識のためのマッチングベースのフレームワークである。 textitmulti-view エンコーディング、textitmulti-view matching、textitmulti-view fusion を組み込んで、埋め込みエンコーディング、類似性マッチング、意思決定を容易にする。 説明可能な可視化と実験結果により,M$3$Netの微細な動作の詳細を捉える上での優位性が示された。
  論文  参考訳（メタデータ） (2023-08-06T09:15:14Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Actively Discovering New Slots for Task-oriented Conversation [19.815466126158785]
  本稿では,ループ内学習を実現するため,情報抽出方式で汎用的なスロットタスクを提案する。 我々は既存の言語ツールを活用し、対応するラベルが弱い監視信号として利用される値候補を抽出する。 いくつかの公開データセットに対して広範な実験を行い、競合するベースラインを多数比較して手法を実証する。
  論文  参考訳（メタデータ） (2023-05-06T13:33:33Z)
• Spatio-temporal Relation Modeling for Few-shot Action Recognition [100.3999454780478]
  本稿では,高次時間表現を同時に学習しながら,クラス固有の特徴の識別性を向上する数ショットアクション認識フレームワークSTRMを提案する。 本手法は,本研究でもっとも優れた手法に比べて,分類精度が3.5%向上した。
  論文  参考訳（メタデータ） (2021-12-09T18:59:14Z)
• Inferring Temporal Compositions of Actions Using Probabilistic Automata [61.09176771931052]
  本稿では,動作の時間的構成を意味正規表現として表現し,確率的オートマトンを用いた推論フレームワークを提案する。 我々のアプローチは、長い範囲の複雑なアクティビティを、順序のないアトミックアクションのセットとして予測するか、自然言語文を使ってビデオを取得するという既存の研究とは異なる。
  論文  参考訳（メタデータ） (2020-04-28T00:15:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。