論文の概要: Language-driven Description Generation and Common Sense Reasoning for Video Action Recognition

• arxiv url: http://arxiv.org/abs/2506.16701v1
• Date: Fri, 20 Jun 2025 02:43:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.316873
• Title: Language-driven Description Generation and Common Sense Reasoning for Video Action Recognition
• Title（参考訳）: ビデオ行動認識のための言語駆動記述生成と常識推論
• Authors: Xiaodan Hu, Chuhang Zou, Suchen Wang, Jaechul Kim, Narendra Ahuja,
• Abstract要約: 乱雑なビデオアクションシーケンスを識別するために、言語駆動の常識を取り入れたフレームワークを導入する。 本稿では,Action GenomeとCharadesのデータセットに対するアプローチの有効性を示す。
• 参考スコア（独自算出の注目度）: 14.01593872543569
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent video action recognition methods have shown excellent performance by adapting large-scale pre-trained language-image models to the video domain. However, language models contain rich common sense priors - the scene contexts that humans use to constitute an understanding of objects, human-object interactions, and activities - that have not been fully exploited. In this paper, we introduce a framework incorporating language-driven common sense priors to identify cluttered video action sequences from monocular views that are often heavily occluded. We propose: (1) A video context summary component that generates candidate objects, activities, and the interactions between objects and activities; (2) A description generation module that describes the current scene given the context and infers subsequent activities, through auxiliary prompts and common sense reasoning; (3) A multi-modal activity recognition head that combines visual and textual cues to recognize video actions. We demonstrate the effectiveness of our approach on the challenging Action Genome and Charades datasets.
• Abstract（参考訳）: 近年の映像行動認識法は,大規模な事前学習言語画像モデルをビデオ領域に適用することにより,優れた性能を示した。 しかしながら、言語モデルには、人間がオブジェクト、人間とオブジェクトの相互作用、アクティビティを理解するために使用するシーンコンテキストが、十分に活用されていないような、豊富な常識の先入観が含まれている。 本稿では,言語駆動の共通感覚を取り入れたフレームワークを導入し,乱雑なビデオアクションシーケンスを,しばしば無視されるモノラルビューから識別する。 本稿では,(1)対象物,アクティビティ,およびオブジェクトとアクティビティ間の相互作用を生成するビデオコンテキスト要約コンポーネント,(2)状況が与えられた現在のシーンを記述し,補助的なプロンプトや常識推論を通じてその後のアクティビティを推測する記述生成モジュール,(3)視覚的およびテキスト的手がかりを組み合わせたマルチモーダルなアクティビティ認識ヘッドを提案する。 本稿では,Action GenomeとCharadesのデータセットに対するアプローチの有効性を示す。

関連論文リスト

• VideoDistill: Language-aware Vision Distillation for Video Question Answering [24.675876324457747]
  本稿では,視覚知覚と回答生成プロセスの両方において,言語認識(すなわち目標駆動)の振る舞いを持つフレームワークであるVideoDistillを提案する。 VideoDistillは質問関連のビジュアル埋め込みからのみ回答を生成する。 我々は,様々な挑戦的ビデオ質問応答ベンチマークを実験的に評価し,VideoDistillは最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-04-01T07:44:24Z)
• Generating Action-conditioned Prompts for Open-vocabulary Video Action Recognition [63.95111791861103]
  既存の方法は、訓練済みの画像テキストモデルをビデオ領域に適応させるのが一般的である。 我々は、人間の事前知識によるテキスト埋め込みの強化が、オープン語彙のビデオ行動認識の鍵となると論じている。 提案手法は,新たなSOTA性能を設定できるだけでなく,解釈性にも優れる。
  論文  参考訳（メタデータ） (2023-12-04T02:31:38Z)
• A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In Zero Shot [67.00455874279383]
  そこで本研究では,自然言語による記述を生成するために長編動画を音声化し,生成したストーリーの映像理解タスクを実行することを提案する。 提案手法は,ゼロショットであるにもかかわらず,ビデオ理解のための教師付きベースラインよりもはるかに優れた結果が得られる。 ストーリー理解ベンチマークの欠如を緩和するため,我々は,説得戦略の識別に関する計算社会科学における重要な課題に関する最初のデータセットを公開している。
  論文  参考訳（メタデータ） (2023-05-16T19:13:11Z)
• Implicit and Explicit Commonsense for Multi-sentence Video Captioning [33.969215964292395]
  本稿では,暗黙的(視覚言語と純粋言語)と明示的(知識ベース)のコモンセンス知識を考慮に入れた,トランスフォーマーに基づく新しいビデオキャプションモデルを提案する。 我々は,これらの形態の知識が,単独で,かつ組み合わせて,生成したキャプションの品質を高めることを示す。
  論文  参考訳（メタデータ） (2023-03-14T00:19:11Z)
• Weakly Supervised Human-Object Interaction Detection in Video via Contrastive Spatiotemporal Regions [81.88294320397826]
  システムは、ビデオに人間と物体の相互作用が存在するか、あるいは人間と物体の実際の位置を知らない。 文節から収集した人-物間相互作用による6.5k以上のビデオからなるデータセットを提案する。 ビデオデータセットのアノテーションに適応した弱教師付きベースラインの性能向上を実証した。
  論文  参考訳（メタデータ） (2021-10-07T15:30:18Z)
• Improved Actor Relation Graph based Group Activity Recognition [0.0]
  人間の行動やグループ活動の詳細な説明は必須情報であり、リアルタイムCCTVビデオ監視、医療、スポーツビデオ分析などに利用することができる。 本研究では,一対のアクターの外観的類似性とアクターの位置を学習することで,グループ活動認識を主眼とする映像理解手法を提案する。
  論文  参考訳（メタデータ） (2020-10-24T19:46:49Z)
• Learning Modality Interaction for Temporal Sentence Localization and Event Captioning in Videos [76.21297023629589]
  そこで本稿では,ビデオの各対のモダリティの相補的情報をよりよく活用するために,ペアワイズなモダリティ相互作用を学習するための新しい手法を提案する。 提案手法は,4つの標準ベンチマークデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-28T12:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。