論文の概要: STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering

• arxiv url: http://arxiv.org/abs/2604.01824v1
• Date: Thu, 02 Apr 2026 09:35:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.633806
• Title: STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering
• Title（参考訳）: ビデオ質問応答における強化学習のための構造化時空間探索
• Abstract要約: STRIVEは質問応答のための構造化強化学習フレームワークである。 報酬シグナルを豊かにし、より安定的で情報的なポリシー更新を促進する。 時間的カバレッジを維持しながら、入力問題に最も関連するフレームを優先順位付けする。
• 参考スコア（独自算出の注目度）: 28.670443420523796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce STRIVE (SpatioTemporal Reinforcement with Importance-aware Variant Exploration), a structured reinforcement learning framework for video question answering. While group-based policy optimization methods have shown promise in large multimodal models, they often suffer from low reward variance when responses exhibit similar correctness, leading to weak or unstable advantage estimates. STRIVE addresses this limitation by constructing multiple spatiotemporal variants of each input video and performing joint normalization across both textual generations and visual variants. By expanding group comparisons beyond linguistic diversity to structured visual perturbations, STRIVE enriches reward signals and promotes more stable and informative policy updates. To ensure exploration remains semantically grounded, we introduce an importance-aware sampling mechanism that prioritizes frames most relevant to the input question while preserving temporal coverage. This design encourages robust reasoning across complementary visual perspectives rather than overfitting to a single spatiotemporal configuration. Experiments on six challenging video reasoning benchmarks including VideoMME, TempCompass, VideoMMMU, MMVU, VSI-Bench, and PerceptionTest demonstrate consistent improvements over strong reinforcement learning baselines across multiple large multimodal models. Our results highlight the role of structured spatiotemporal exploration as a principled mechanism for stabilizing multimodal reinforcement learning and improving video reasoning performance.
• Abstract（参考訳）: 本稿では,ビデオ質問応答のための構造化強化学習フレームワークSTRIVE(SpatioTemporal Reinforcement with Importance-Aware Variant Exploration)を紹介する。 グループベースのポリシー最適化手法は、大規模なマルチモーダルモデルでは有望であるが、応答が類似した正しさを示す場合、報酬の分散が低くなり、弱いあるいは不安定な有利な推定が導かれる。 STRIVEはこの制限に対処し、各入力ビデオの複数の時空間変種を構築し、テキスト世代と視覚変種の両方で共同正規化を行う。 言語多様性を超えたグループ比較を構造化された視覚摂動に拡張することにより、STRIVEは報酬信号を強化し、より安定的で情報的な政策更新を促進する。 意味論的基盤を保ち続けるために、時間的カバレッジを維持しながら、入力問題に最も関係のあるフレームを優先する重要認識サンプリング機構を導入する。 この設計は、1つの時空間構成に過度に適合するのではなく、相補的な視覚的視点で堅牢な推論を促進する。 VideoMME、TempCompass、VideoMMMU、MMVU、VSI-Bench、PerceptionTestを含む6つの挑戦的なビデオ推論ベンチマークの実験では、複数の大規模マルチモーダルモデルにわたる強力な強化学習ベースラインよりも一貫した改善が示されている。 本研究は,マルチモーダル強化学習の安定化とビデオ推論性能向上のための原則的メカニズムとして,構造化時空間探索が果たす役割を強調した。

関連論文リスト

• VideoSearcher: Empowering Video Deep Research with Multi-Tool Agentic Reasoning via Reinforcement Learning [55.2367119060441]
  ビデオ理解は、クローズドコンテクストの知覚を超えて、オープンワールドのエビデンス探索へと移行している。 既存のマルチモーダル検索エージェントは主に静的画像をターゲットにしており、現在のVDRベンチマークはテキスト中心の検索に依存している。 本稿では,VDRのマルチツール推論による視覚言語モデルを実現するクローズドループエージェントフレームワークであるVideoSearcherを提案する。
  論文  参考訳（メタデータ） (2026-07-03T03:50:09Z)
• InternVideo3: Agentify Foundation Models with Multimodal Contextual Reasoning [61.87294123934038]
  ビデオタスクにおけるマルチモーダル理解を強化するフレームワークであるInternVideo3を提案する。 MCRは理解を、共有、進化するコンテキスト上でのクローズドループプロセスとして扱う。 InternVideo3は、Video-MME、MLVU、Egoなどのベンチマークで強力なパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2026-06-10T15:17:08Z)
• Find, Fix, Reason: Context Repair for Video Reasoning [45.021693494492666]
  強化学習は、大規模なマルチモーダルモデルにおいて高度なビデオ推論を持つ。 凍結したツール統合された教師は、時間的依存の欠如を認識し、最小限のエビデンスパッチを提供する。 本稿では,正解による結果の妥当性と依存性の整合性という2つの目標に最適化を整合させるロバスト改善リワード(RIR)を提案する。
  論文  参考訳（メタデータ） (2026-04-17T17:04:19Z)
• VideoZoomer: Reinforcement-Learned Temporal Focusing for Long Video Reasoning [49.35834435935727]
  VideoZoomerは、MLLMが推論中に視覚的焦点を制御することができる新しいエージェントフレームワークである。 私たちの7Bモデルは、多種多様な複雑な推論パターンを提供し、幅広いビデオ理解と推論のベンチマークに強いパフォーマンスをもたらします。 これらの創発的な能力は、既存のオープンソースモデルを一貫して上回り、挑戦的なタスクでプロプライエタリなシステムをライバルにさえできる。
  論文  参考訳（メタデータ） (2025-12-26T11:43:21Z)
• Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models [78.32948112203228]
  ビデオ理解はコンピュータビジョンにおける最も困難なフロンティアである。 近年,映像理解タスクにおいて,映像多時間モデルが顕著に出現している。 Surveyは、ビデオ-LMM能力を向上するための統一的なフレームワークを研究者や実践者に提供することを目的としている。
  論文  参考訳（メタデータ） (2025-10-06T17:10:44Z)
• Team of One: Cracking Complex Video QA with Model Synergy [24.75732964829523]
  本稿では,複雑な実世界のシナリオにおける推論深度と堅牢性を高める,オープンエンドなビデオ質問応答のための新しいフレームワークを提案する。 既存のビデオラージマルチモーダルモデル (Video-LMM) では、文脈的理解の制限、時間的モデリングの弱さ、曖昧さや構成的クエリへの一般化の低さがしばしば見られる。
  論文  参考訳（メタデータ） (2025-07-18T11:12:44Z)
• Reinforcement Learning Tuning for VideoLLMs: Reward Design and Data Efficiency [56.475612147721264]
  本稿では、離散的かつ連続的な報酬信号を通して意味的推論と時間的推論の両方を監督する二重回帰定式化を提案する。 我々は,ビデオQA,テンポラルビデオグラウンディング,グラウンドドビデオQAを含む8つの代表的なビデオ理解タスクに対するアプローチを評価した。 その結果、MLLMを用いた推論中心のビデオ理解の進展において、報酬設計とデータ選択の重要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-06-02T17:28:26Z)
• Investigating and Enhancing the Robustness of Large Multimodal Models Against Temporal Inconsistency [59.05753942719665]
  本稿では,モデルのロバスト性を評価するために,時間的ロバスト性ベンチマーク(TemRobBench)を提案する。 16のLMMを評価した結果,従来の知識やテキストの文脈に頼りすぎていることが判明した。 我々はパノラマ直接選好最適化(PanoDPO)を設計し、LMMが視覚的特徴と言語的特徴の両方を同時に取り入れることを奨励する。
  論文  参考訳（メタデータ） (2025-05-20T14:18:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。