論文の概要: Grounded Human-Attributed Description and Activity Recognition in Videos

• arxiv url: http://arxiv.org/abs/2610.22295v1
• Date: Thu, 15 Oct 2026 17:44:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.237277
• Title: Grounded Human-Attributed Description and Activity Recognition in Videos
• Title（参考訳）: 映像における人間による映像記述と活動認識
• Abstract要約: 我々は,GHADAR(Geunded Human-Attributed Description and Activity Recognition)の課題を紹介する。 GHADARは、ビデオ中のテキストフィーバーの人物の特徴と活動的記述を記述する。 そこで我々は,AVA-Actionsから派生した新しいデータセットを導入し,人物記述と活動のためのオープンセットキャプションを生成する。
• 参考スコア（独自算出の注目度）: 43.60198669442895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding characteristics and activities of individuals in complex multi-person environments is crucial for real-world applications. However, existing datasets often simplify this problem to grounded group activity recognition, single-person activity recognition, or close-set activity recognition, thus limiting the generalizability of models trained on these datasets. In this work, we introduce the task of Grounded Human-Attributed Description and Activity Recognition (GHADAR), which involves describing the characteristics and activity descriptions of \textbf{every} person in a video, provided the location of the person in the video, which is more practical for real-world applications. To facilitate this, we introduce a new dataset derived from AVA-Actions by generating open-set captions for the person description and activity. In addition, we propose a novel method to effectively utilize the information contained in grounding during training by constraining the cross-attention masks during training in VLMs to improve performance for this task. Our experiments show that our method outperforms SOTA VLMs on this task. Finally, we demonstrate the limitations of existing evaluation metrics, which are overly reliant on human-annotations and exact text-text matching. As an added video-based evaluation, we propose a holistic VLM-based evaluation schema that compares concepts {\em directly} between the video and the generated predictions. Thus, in this work, we develop a complete framework for GHADAR, including a dataset, a novel method and an evaluation schema, thereby establishing a strong foundation for future research in this domain.
• Abstract（参考訳）: 複雑な多人数環境における個人の特徴と活動を理解することは、現実の応用にとって不可欠である。 しかし、既存のデータセットはしばしばこの問題を単純化し、グループアクティビティ認識、シングルパーソンアクティビティ認識、クローズセットアクティビティ認識など、これらのデータセットでトレーニングされたモデルの一般化性を制限する。 本研究では,映像中の「textbf{every}」人物の特徴と活動記述を記述した「GHADAR」の課題を紹介する。 これを容易にするために,AVA-Actionsから派生した新しいデータセットを導入し,人物記述と活動のためのオープンセットキャプションを生成する。 また,本研究は,VLMにおけるトレーニング中に,クロスアテンションマスクを拘束することで,トレーニング中のグラウンドに含まれる情報を効果的に活用する手法を提案する。 本研究では,本手法がSOTA VLMよりも優れていることを示す。 最後に、人間のアノテーションや正確なテキストマッチングに依存する既存の評価指標の限界を実証する。 ビデオに基づく評価を付加し,ビデオと生成した予測のコンセプトを直接比較した総合的VLMに基づく評価スキーマを提案する。 そこで本研究では,データセット,新しい手法,評価スキーマなどを含むGHADARの完全なフレームワークを開発し,将来的な研究基盤を確立する。

関連論文リスト

• Spatio-Temporal Context Prompting for Zero-Shot Action Detection [13.22912547389941]
  本稿では,視覚言語モデルの豊富な知識を効果的に活用し,対人インタラクションを実現する手法を提案する。 同時に複数の人物による異なる行動を認識するという課題に対処するために,興味あるトークンスポッティング機構を設計する。 提案手法は,従来の手法に比べて優れた結果を得ることができ,さらにマルチアクションビデオに拡張することができる。
  論文  参考訳（メタデータ） (2024-08-28T17:59:05Z)
• Open-Vocabulary Spatio-Temporal Action Detection [59.91046192096296]
  OV-STAD (Open-vocabulary-temporal action detection) は,ビデオ理解において重要な課題である。 OV-STADは、ボックスとラベルを監督する限定されたベースクラスでモデルをトレーニングする必要がある。 局所的なビデオ領域とテキストのペアに対して、細かなアクション検出タスクに対して、より精巧なVLMを適用するために、慎重に微調整を行う。
  論文  参考訳（メタデータ） (2024-05-17T14:52:47Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• What, when, and where? -- Self-Supervised Spatio-Temporal Grounding in Untrimmed Multi-Action Videos from Narrated Instructions [55.574102714832456]
  時空間グラウンド(時空間グラウンド)は、空間と時間における事象を局所化するタスクを指す。 このタスクのモデルは、通常、人間の注釈付き文とバウンディングボックスの監督によって訓練される。 我々は,局所的な表現学習と,より詳細な空間情報に焦点を合わせ,高レベルな表現を捉えるグローバルな表現を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-29T19:38:23Z)
• Revisiting Deep Active Learning for Semantic Segmentation [37.3546941940388]
  本研究では,本論文で提案する各種能動的学習目標の性能について,データ分布が決定的であることを示す。 半教師付き学習とアクティブラーニングの統合は,2つの目標が整列した際の性能向上を実証する。
  論文  参考訳（メタデータ） (2023-02-08T14:23:37Z)
• ZSTAD: Zero-Shot Temporal Activity Detection [107.63759089583382]
  本研究では,ゼロショット時間的活動検出(ZSTAD)と呼ばれる新たなタスク設定を提案する。 このソリューションのアーキテクチャとして,R-C3Dに基づくエンドツーエンドのディープネットワークを設計する。 THUMOS14とCharadesデータセットの両方の実験は、目に見えない活動を検出するという点で有望なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2020-03-12T02:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。