論文の概要: EventLens: Event-Structure Reinforcement Learning for Video Understanding
- arxiv url: http://arxiv.org/abs/2610.16172v1
- Date: Mon, 12 Oct 2026 04:46:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.30998
- Title: EventLens: Event-Structure Reinforcement Learning for Video Understanding
- Title（参考訳）: EventLens: ビデオ理解のためのイベント構造強化学習
- Abstract要約: 視覚的証拠から事象構造を復元する能力としての時間的構造的理解について検討した。
イベント構造回復を通じて映像理解を学習する,視覚中心の強化学習フレームワークであるEventLensを提案する。
- 参考スコア（独自算出の注目度）: 50.39737120261167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent multimodal large language models (MLLMs) achieve strong results on video question answering, yet often fail to recover the temporal structure that makes a video coherent. They may merge neighboring events, miss single-event progression, or infer implausible relations across events. We study structured temporal understanding as the ability to recover event structure from visual evidence, including event boundaries, single-event progression, and multi-event relations. We argue that this gap arises from a mismatch between current post-training objectives and temporal reasoning, where caption-style supervision allows models to rely on language shortcuts rather than visual temporal grounding. To address this, we propose EventLens, a vision-centric reinforcement learning framework that learns video understanding through event-structure recovery. Instead of reconstructing captions, EventLens trains models to recover temporal structure under controlled perturbations, such as altered temporal granularity, reversed progression, and shuffled event order. We instantiate this framework with a three-level temporal ontology and derive three verifiable task families: event segmentation, progression discrimination, and multi-event relation reasoning. These tasks admit deterministic rewards, enabling task-specialized GRPO training without human preference labels or learned reward models. We further introduce multi-teacher on-policy distillation (MT-OPD) to consolidate specialized policies into a unified model. Experiments on Qwen3-VL backbones show consistent improvements on temporal grounding and event-sensitive reasoning benchmarks, while preserving general video-QA performance. Learning curves further demonstrate that EventLens achieves comparable downstream transfer with significantly reduced training cost compared to direct mixed RL optimization.
- Abstract（参考訳）: 近年のマルチモーダル大言語モデル (MLLM) はビデオ質問応答において強い結果を得るが、ビデオコヒーレントとなる時間構造を回復することができないことが多い。
近隣の出来事を融合させたり、単一事象の進行を見逃したり、イベント間の不可解な関係を推測したりすることができる。
本研究では,イベント境界,単一事象の進行,複数事象の関係など,視覚的証拠からイベント構造を復元する能力としての時間的構造的理解について検討した。
このギャップは、現在の訓練後の目標と時間的推論のミスマッチから生じるものであり、キャプションスタイルの監督により、視覚的時間的接地よりもモデルが言語ショートカットに頼ることができる。
そこで我々は,イベント構造回復を通じて映像理解を学習する視覚中心の強化学習フレームワークであるEventLensを提案する。
キャプションを再構築する代わりに、EventLensは、時間的粒度の変化、逆進行、シャッフルイベント順序などの制御された摂動の下で時間構造を復元するモデルを訓練する。
このフレームワークを3段階の時間オントロジーでインスタンス化し、イベントセグメンテーション、進行判別、多点関係推論の3つの検証可能なタスクファミリを導出する。
これらのタスクは決定論的報酬を認め、人間の選好ラベルや学習報酬モデルなしでタスク特化GRPOトレーニングを可能にする。
さらに, 具体的政策を統一的なモデルにまとめるために, MT-OPD (Multi-Teacher on-policy distillation) を導入する。
Qwen3-VLバックボーンの実験では、一般的なビデオQA性能を維持しながら、時間的グラウンドと事象に敏感な推論ベンチマークが一貫した改善を示している。
学習曲線はさらに、EventLensが直接混合RL最適化と比較してトレーニングコストを大幅に削減した、同等のダウンストリーム転送を実現していることを示している。
関連論文リスト
- EC-RAG: Event Chain Retrieval-Augmented Generation for Long Video Understanding [15.316092539500152]
Event Chain Retrieval-Augmented Generation (EC-RAG)は、質問応答前にビデオコンテンツを明示的なイベントチェーンに整理する。
EC-RAGはまず、ビデオをセマンティックなコヒーレントなセグメントに分割し、マルチモーダル信号を使用して各セグメントを表現する。
クエリが与えられた場合、システムはチェーン内の関連するイベントを特定し、関連するモダリティからの証拠を収集する。
論文 参考訳（メタデータ） (2026-10-06T16:57:46Z) - ChronoSSM: Training for Temporally Aware Representations in Autoregressive State Space Models [0.5366467936613011]
イベントとタイムスタンプを共有バックボーンでモデル化する自動回帰状態空間モデル(SSM)であるChronoSSMを紹介する。
時間的監視は、自己回帰イベントモデリングを著しく劣化させることなく、時間的により情報的な表現を生み出すことができることを示す。
論文 参考訳（メタデータ） (2026-08-10T18:35:19Z) - Event Extraction in Large Language Model [99.94321497574805]
私たちは、LLM中心のソリューションに認知的な足場を提供するシステムコンポーネントとして、EEは見なされるべきである、と論じます。
この調査では、EEのテキストとマルチモーダル設定、タスクと分類の整理、ルールベースとニューラルモデルから命令駆動および生成フレームワークへのメソッド進化のトレースについて取り上げている。
論文 参考訳（メタデータ） (2025-12-22T16:22:14Z) - Generalized Event Partonomy Inference with Structured Hierarchical Predictive Learning [9.874456616326274]
本稿では、ストリーミングビデオから直接マルチスケールイベント構造を監視せずに学習する統合フレームワークPARSEを紹介する。
PARSEは,時間的アライメントと構造的整合性の両方において,ストリーミング手法と競合するオフラインベースラインの最先端性能を実現する。
論文 参考訳（メタデータ） (2025-12-03T19:41:06Z) - TEMPURA: Temporal Event Masked Prediction and Understanding for Reasoning in Action [28.930109403769166]
ビデオの時間的理解を高めるための2段階トレーニングフレームワークTEMPURAを提案する。
TEMPURAは、まずマスク付きイベント予測推論を適用して、欠落したイベントを再構築し、密集したイベントアノテーションからステップバイステップの因果説明を生成する。
私たちはVERでTEMPURAをトレーニングします。これは、100万のトレーニングインスタンスと500Kのビデオで構成され、時間的に整ったイベント記述と構造化された推論ステップで構成されています。
論文 参考訳（メタデータ） (2025-05-02T21:00:17Z) - Grounding Partially-Defined Events in Multimodal Data [61.0063273919745]
部分定義イベントに対するマルチモーダル定式化を導入し、これらのイベントの抽出を3段階スパン検索タスクとしてキャストする。
このタスクのベンチマークであるMultiVENT-Gを提案し,22.8Kのラベル付きイベント中心エンティティを含む,14.5時間の高密度アノテーション付き現在のイベントビデオと1,168のテキストドキュメントからなる。
結果は、イベント理解の抽象的な課題を示し、イベント中心のビデオ言語システムにおける約束を実証する。
論文 参考訳（メタデータ） (2024-10-07T17:59:48Z) - CLIP-Event: Connecting Text and Images with Event Structures [123.31452120399827]
視覚言語事前学習モデルを適用したコントラスト学習フレームワークを提案する。
我々は、イベント構造知識を得るために、テキスト情報抽出技術を利用する。
実験により、ゼロショットCLIP-Eventは引数抽出において最先端の教師付きモデルよりも優れていることが示された。
論文 参考訳（メタデータ） (2022-01-13T17:03:57Z) - Interpretable Time-series Representation Learning With Multi-Level
Disentanglement [56.38489708031278]
Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。
DTSは時系列の解釈可能な表現として階層的意味概念を生成する。
DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-05-17T22:02:24Z) - Joint Constrained Learning for Event-Event Relation Extraction [94.3499255880101]
本稿では,イベント・イベント関係をモデル化するための制約付き協調学習フレームワークを提案する。
具体的には、このフレームワークは、複数の時間的および部分的関係内の論理的制約を強制する。
我々は,共同学習手法が,共同ラベル付きデータの欠如を効果的に補うことを示す。
論文 参考訳（メタデータ） (2020-10-13T22:45:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。