論文の概要: IAE-VTG: Interaction-Aligned Action-Entity Video Temporal Grounding
- arxiv url: http://arxiv.org/abs/2609.09736v1
- Date: Wed, 09 Sep 2026 05:25:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.907928
- Title: IAE-VTG: Interaction-Aligned Action-Entity Video Temporal Grounding
- Title（参考訳）: IAE-VTG:インタラクション対応アクションエンティティビデオ時間グラウンド
- Abstract要約: Video Temporal Grounding (VTG)は、自然言語クエリにマッチするビデオセグメントをローカライズする。
IAE-VTGは、強いベースラインを一貫して改善し、標準基盤メトリクスの競争力や最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 40.70112555953827
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video Temporal Grounding (VTG) localizes the video segment that matches a natural-language query. Many queries describe an action performed by a particular entity. Existing methods often encode the query as a whole or use general video-text interactions, without explicitly checking whether the action and entity occur together. They may therefore select a segment that contains both concepts but not the event described by the query. We propose Interaction Aligned Action-Entity Video Temporal Grounding (IAE-VTG), which models this rela?tionship at both the representation and training assignment levels. First, the Fine-grained Disentangled Interaction Module (FDIM) separates action and entity related query information and aligns it with complementary motion and appearance features. It then combines token-level interactions to build representations that capture the relationship between the action and entity. Second, Interaction-Sensitive Assignment (ISA) adds this interaction evidence to bipartite matching, so training targets are selected using both temporal overlap and semantic compatibility. This reduces supervision from temporally plausible but semantically incorrect proposals. Experiments on QVHighlights, Charades?STA, and TACoS show that IAE-VTG consistently improves strong baselines and achieves competitive or state-of-the-art performance on standard grounding metrics. Additional analyses show that the method is especially effective when similar actions or entities appear at multiple times and produces more reliable assignments for complex events.
- Abstract（参考訳）: Video Temporal Grounding (VTG)は、自然言語クエリにマッチするビデオセグメントをローカライズする。
多くのクエリは、特定のエンティティによって実行されるアクションを記述する。
既存のメソッドは、アクションとエンティティが一緒に起こるかどうかを明示的にチェックすることなく、クエリ全体をエンコードしたり、一般的なビデオ-テキストインタラクションを使用することが多い。
したがって、クエリによって記述されたイベントではなく、両方の概念を含むセグメントを選択することができる。
我々は,このレラをモデル化したIAE-VTG(Interaction Aligned Action-Entity Video Temporal Grounding)を提案する。
代表レベルと訓練レベルの両方のオプション。
まず、FDIM(Fun-fine Disentangled Interaction Module)はアクションとエンティティ関連のクエリ情報を分離し、補完的な動きや外観の特徴と整合させる。
次にトークンレベルのインタラクションを組み合わせて、アクションとエンティティの関係をキャプチャする表現を構築する。
第2に、インタラクション・センシティブ・アサインメント(ISA)は、この相互作用エビデンスを双方向のマッチングに付加するため、時間的重複とセマンティック互換性の両方を用いてトレーニング対象を選択する。
これにより、時間的に妥当だが意味的に間違っている提案から監督を減じる。
QVHighlights, Charadesの実験
STAとTACoSは、IAE-VTGが一貫して強力なベースラインを改善し、標準接地メトリクス上での競争または最先端のパフォーマンスを達成することを示している。
さらなる分析により、類似したアクションやエンティティが複数回出現し、複雑なイベントに対してより信頼性の高い代入を生成する場合、この手法は特に有効であることが示されている。
関連論文リスト
- While recognizing actions, LMMs struggle to detect core interaction events [18.828641379675243]
我々は,Sone-Something-V2データセットの動画に20K以上の注釈付きインタラクションを備えた,この種の大規模データセットを紹介した。
AMTurk Human Annotator 250は、中核的な相互作用イベント、特に、いつ、どこでオブジェクトやエージェントがアタッチされるかをラベル付けした。
モデルは、ターゲットオブジェクトを確実に命名し、アクションを識別し、一貫性のある推論を提供するが、相互作用が開始または終了するフレームを常に識別できないことを示す。
論文 参考訳（メタデータ） (2025-11-25T10:38:41Z) - Mitigating Query Selection Bias in Referring Video Object Segmentation [39.39279952650532]
本稿では,参照クエリを3つの特別なコンポーネントに分解するTriple Query former (TQF)を提案する。
テキストの埋め込みにのみ依存するのではなく、我々のクエリは言語的手がかりと視覚的ガイダンスの両方を統合することで動的に構築されます。
論文 参考訳（メタデータ） (2025-09-17T06:17:23Z) - Hierarchical Relation-augmented Representation Generalization for Few-shot Action Recognition [43.84348967231349]
アクション認識は、新しいアクションカテゴリーをほとんど見ない形で認識することを目的としている。
既存の手法は通常、フレーム間の時間的モデリング戦略を設計することで、各ビデオのフレームレベル表現を学習する。
FSARのための階層的関係強化表現一般化フレームワークHR2G-shotを提案する。
論文 参考訳（メタデータ） (2025-04-14T10:23:22Z) - VrdONE: One-stage Video Visual Relation Detection [30.983521962897477]
Video Visual Relation Detection (VidVRD)は、ビデオの時間と空間におけるエンティティの理解に焦点を当てている。
VidVRDの従来の手法は、その複雑さに悩まされ、通常、タスクを2つの部分に分割する。
VidVRDのワンステージモデルであるVrdONEを提案する。
論文 参考訳（メタデータ） (2024-08-18T08:38:20Z) - AOE-Net: Entities Interactions Modeling with Adaptive Attention
Mechanism for Temporal Action Proposals Generation [24.81870045216019]
時間的アクションプロポーザル生成(TAPG)は、未トリミングビデオにおける動作間隔のローカライズを必要とする課題である。
マルチモーダル表現ネットワーク、すなわちアクター・オブジェクト・環境相互作用ネットワーク(AOE-Net)を用いてこれらの相互作用をモデル化することを提案する。
私たちのAOE-Netは、知覚に基づくマルチモーダル表現(PMR)と境界マッチングモジュール(BMM)の2つのモジュールで構成されています。
論文 参考訳（メタデータ） (2022-10-05T21:57:25Z) - Bridge-Prompt: Towards Ordinal Action Understanding in Instructional
Videos [92.18898962396042]
本稿では,隣接するアクション間のセマンティクスをモデル化する,プロンプトベースのフレームワークであるBridge-Promptを提案する。
我々は個々のアクションラベルを、個々のアクションセマンティクスのギャップを埋める監視のための統合テキストプロンプトとして再構成する。
Br-Promptは複数のベンチマークで最先端を達成する。
論文 参考訳（メタデータ） (2022-03-26T15:52:27Z) - Graph Convolutional Module for Temporal Action Localization in Videos [142.5947904572949]
アクション・ユニット間の関係は、アクション・ローカライゼーションにおいて重要な役割を果たすと主張する。
より強力なアクション検出器は、各アクションユニットの局所的な内容をキャプチャするだけでなく、関連するコンテキストに関する広い視野を許容するべきである。
本稿では,既存の動作ローカライズ手法に簡単にプラグイン可能な汎用グラフ畳み込みモジュール(GCM)を提案する。
論文 参考訳（メタデータ） (2021-12-01T06:36:59Z) - End-to-end Temporal Action Detection with Transformer [86.80289146697788]
時間的アクション検出(TAD)は、トリミングされていないビデオにおいて、すべてのアクションインスタンスのセマンティックラベルとバウンダリを決定することを目的としている。
そこで我々は,textitTadTR と呼ばれる Transformer によるTAD のエンドツーエンドフレームワークを構築した。
本手法は,HACSセグメンツとTHUMOS14の最先端性能とActivityNet-1.3の競合性能を実現する。
論文 参考訳（メタデータ） (2021-06-18T17:58:34Z) - Modeling Multi-Label Action Dependencies for Temporal Action
Localization [53.53490517832068]
実世界のビデオには、アクションクラス間の固有の関係を持つ多くの複雑なアクションが含まれている。
非発生ビデオにおける時間的行動の局在化のタスクのためのこれらの行動関係をモデル化する注意に基づくアーキテクチャを提案する。
マルチラベルアクションローカリゼーションベンチマークの最先端の方法よりもパフォーマンスが向上しました。
論文 参考訳（メタデータ） (2021-03-04T13:37:28Z) - Learning Modality Interaction for Temporal Sentence Localization and
Event Captioning in Videos [76.21297023629589]
そこで本稿では,ビデオの各対のモダリティの相補的情報をよりよく活用するために,ペアワイズなモダリティ相互作用を学習するための新しい手法を提案する。
提案手法は,4つの標準ベンチマークデータセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2020-07-28T12:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。