論文の概要: Beyond Scene Shortcuts: Action-Centric Video-Text Alignment for Fine-Grained Action Understanding

• arxiv url: http://arxiv.org/abs/2611.06302v1
• Date: Wed, 04 Nov 2026 10:36:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.060623
• Title: Beyond Scene Shortcuts: Action-Centric Video-Text Alignment for Fine-Grained Action Understanding
• Title（参考訳）: シーンショートカットを超えて:アクション中心のビデオテキストアライメントによる細粒度アクション理解
• Abstract要約: 微調整されたモデルでは、動きの幻覚よりも静かなシーンや静かな物体に根ざした詳細なアクション記述を生成することができる。 本稿では,アクション中心のビデオテキストアライメントフレームワークであるStaged Attention RectificationGroundment(STARR)について紹介する。 また、時間的局所化キャプションと時間的因果推論データを組み合わせたFineActionEnvironmentR&Rを構築した。
• 参考スコア（独自算出の注目度）: 3.3696232484797957
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained action understanding requires vision-language models to ground what an agent does, how it acts, and why it acts in spatio-temporal evidence. However, richer supervision can backfire: fine-tuned models may generate detailed action descriptions grounded in static scenes and salient objects rather than motion, a failure we call Environment-Grounded Action Hallucination (EGAH). To mitigate EGAH, we propose Staged Attention Rectification and Reinforcement (STARR), an action-centric video-text alignment framework that breaks scene-action shortcuts through Action-Environment Dissociation and reinforces action-focused grounding with an Attention Consistency Reward within Group Relative Policy Optimization. We further construct FineActionR&R, combining temporally localized captions with hierarchical and temporal-causal reasoning data. Built on Qwen2.5-VL-7B, FineActionVLM-R1 improves average MotionBench accuracy by 3.01 percentage points over its base model and achieves 91.50% on HAU-MCQ-Bench. Qualitative comparisons further indicate more faithful fine-grained action descriptions with fewer environment-induced hallucinations.
• Abstract（参考訳）: きめ細かい行動理解には、エージェントが何をするか、どのように振る舞うか、そしてなぜ時空間的証拠として作用するのかを、視覚言語モデルで理解する必要がある。 微調整されたモデルでは、静的なシーンや静かな物体に根ざした詳細なアクション記述を生成できるが、これは私たちがEGAH(Environment-Grounded Action Hallucination)と呼ぶ失敗である。 EGAHを緩和するために,アクション中心のビデオテキストアライメントフレームワークSTARRを提案する。 さらに、時間的局所化キャプションと階層的および時間的因果推論データを組み合わせたFineActionR&Rを構築した。 Qwen2.5-VL-7Bをベースとし、FineActionVLM-R1は平均モーションベンチ精度をベースモデルで3.01ポイント改善し、HAU-MCQ-Benchでは91.50%を達成した。 質的な比較は、環境による幻覚の少ないより忠実なきめ細かい行動記述を示す。

関連論文リスト

• From Reasoning to Action: Consequence-Grounded Alignment for Vision-Language-Action Models [19.114098786894502]
  推論は、意図した行動と期待する結果とを結びつけることで意思決定を通知する。 結果に基づく推論とアクションのアライメントフレームワークであるCoRActを紹介します。 CoRActは、アクションノイズ空間における報酬誘導最適化を通じて、推論とアクションを明確に調整する。
  論文  参考訳（メタデータ） (2026-10-29T07:44:54Z)
• TF-CADE: Foreground-Concentrated Text-Video Alignment for Zero-Shot Temporal Action Detection [54.38725298163703]
  ゼロショット時間動作検出器(TF-CADE)のためのテキストフォアグラウンド集中アライメントを提案する。 ACAはアクション集中スコアを抽出し、時間的に情報を与えるビデオセグメントを前景重み付きビデオ埋め込みに集約する。 CCR戦略は、レバー老化前景の類似性により、スニペット当たりの信頼度を改善し、推論中の無関係なアクションクラスを効果的に抑制する。
  論文  参考訳（メタデータ） (2026-08-18T06:43:45Z)
• InstrAct: Towards Action-Centric Understanding in Instructional Videos [12.356484522873577]
  InstrActionは、インストラクショナルビデオのアクション中心表現のための事前トレーニングフレームワークである。 まず、ノイズの多いキャプションをフィルタリングし、アクション中心のハードネガティブを生成する、データ駆動型戦略を導入する。 視覚的特徴レベルでは、Action Perceiverは、冗長なビデオエンコーディングからモーション関連トークンを抽出する。
  論文  参考訳（メタデータ） (2026-04-09T20:51:13Z)
• Weakly-Supervised Temporal Action Localization with Bidirectional Semantic Consistency Constraint [83.36913240873236]
  WTAL(Weakly Supervised Temporal Action Localization)は、ビデオの時間的境界を分類し、ローカライズすることを目的としている。 本研究では,双方向意味整合性制約 (Bi-SCC) という単純な手法を提案する。 実験結果から,THUMOS14とActivityNetの最先端手法よりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-04-25T07:20:33Z)
• Multi-modal Prompting for Low-Shot Temporal Action Localization [95.19505874963751]
  低ショット(ゼロショット・少数ショット)シナリオ下での時間的行動局所化の問題点を考察する。 クラスに依存しない2段階のアクションローカライズアーキテクチャをTransformerに導入し,その後にオープン語彙分類を行った。
  論文  参考訳（メタデータ） (2023-03-21T10:40:13Z)
• Background-Click Supervision for Temporal Action Localization [82.4203995101082]
  時間的行動ローカライゼーションの弱さは、ビデオレベルのラベルからインスタンスレベルのアクションパターンを学習することを目的としており、アクションコンテキストの混乱が大きな課題である。 最近の作業の1つは、アクションクリックの監視フレームワークを構築している。 同様のアノテーションのコストを必要とするが、従来の弱い教師付き手法と比較して、着実にローカライズ性能を向上させることができる。 本稿では,既存の手法の性能ボトルネックが背景誤差に起因していることを明らかにすることにより,より強力なアクションローカライザを,アクションフレームではなく,バックグラウンドビデオフレーム上のラベルでトレーニングできることを見出した。
  論文  参考訳（メタデータ） (2021-11-24T12:02:52Z)
• Augmented Transformer with Adaptive Graph for Temporal Action Proposal Generation [79.98992138865042]
  TAPGの長期的および局所的時間的コンテキストを利用するための適応グラフネットワーク(ATAG)を備えた拡張トランスを提案する。 具体的には、スニペット動作損失と前部ブロックを装着し、拡張トランスと呼ばれるバニラトランスを強化する。 位置情報と隣接特徴の差異をマイニングすることで局所時間文脈を構築するための適応型グラフ畳み込みネットワーク(gcn)を提案する。
  論文  参考訳（メタデータ） (2021-03-30T02:01:03Z)
• Weakly-Supervised Action Localization by Generative Attention Modeling [65.03548422403061]
  弱教師付き時間的行動ローカライゼーションは、ビデオレベルの行動ラベルのみを利用できるアクションローカライゼーションモデルを学習する問題である。 条件付き変分自動エンコーダ(VAE)を用いたフレームアテンションのクラス非依存型条件付き確率をモデル化する。 注意に関する条件確率を最大化することにより、アクションフレームと非アクションフレームは適切に分離される。
  論文  参考訳（メタデータ） (2020-03-27T14:02:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。