論文の概要: SCOUT: Self-Checking and Recovery-Aware Tool-Thought Agents for Ultra-Long Egocentric Video Reasoning
- arxiv url: http://arxiv.org/abs/2608.07959v1
- Date: Sat, 08 Aug 2026 06:48:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.586853
- Title: SCOUT: Self-Checking and Recovery-Aware Tool-Thought Agents for Ultra-Long Egocentric Video Reasoning
- Title(参考訳): SCOUT:超高精細ビデオ再生のためのセルフチェッキング・リカバリ対応ツールソートエージェント
- Abstract要約: SCOUT(Self-Checking Chain-Of-Tool- Thought)は,超長軸ビデオ理解のためのエージェントフレームワークである。
SCOUTは、極端に長い地平線上で堅牢なマルチホップ推論を可能にするために、搾取(ズームイン)と探索(リージョンスイッチング)をオフにしている。
SCOUTは,超長期のエゴセントリックなベンチマークにおいて,より短い水平長ビデオ設定において競争力を維持しながら,最先端の結果を達成していることを示す。
- 参考スコア(独自算出の注目度): 45.039898006163405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ultra-long egocentric video understanding requires reasoning over temporally sparse evidence distributed across hours or days, challenging current multimodal models with limited context and the grounding of key video segments. While Chain-of-Tool-Thought (CoTT) agent systems enable iterative retrieval and inspection, they suffer from error propagation due to rigid zoom-in strategies that lack recovery mechanisms. In this work, we address these challenges through SCOUT (Self-Checking Chain-Of-Tool-thought), a recovery-aware agentic framework introducing an adaptive policy that evaluates intermediate tool observations and dynamically trades off exploitation (zoom-in) and exploration (region switching), enabling robust multi-hop reasoning over extremely long horizons. However, training such multi-turn tool-using agents remains challenging, as existing RL methods rely on sparse outcome-level rewards and lack supervision over extended decision trajectories, resulting in suboptimal credit assignment for long-horizon reasoning. To address this, we develop UPS-GRPO, an uncertainty-prioritized policy optimization method that concentrates exploration on high-uncertainty post-tool states while preserving sample efficiency. We further introduce a turn-level advantage decomposition that integrates outcome rewards with tool-grounded temporal alignment rewards for improved credit assignment. Experiments show that SCOUT achieves state-of-the-art results on ultra-long egocentric benchmarks, while remaining competitive on shorter-horizon long-video settings.
- Abstract(参考訳): 超長期のエゴセントリックなビデオ理解には、時間や数日にまたがる時間的にスパースな証拠の推論、文脈に制限のある現在のマルチモーダルモデルへの挑戦、重要なビデオセグメントの接地が必要である。
CoTT(Chain-of-Tool-Thought)エージェントシステムは反復的な検索と検査を可能にするが、回復機構の欠如による厳密なズームイン戦略によるエラー伝播に悩まされる。
本研究では,これらの課題をSCOUT (Self-Checking Chain-Of-Tool- Thought) を通じて解決する。このフレームワークは,中間ツールの観察と動的にエクスプロイト(ズームイン)と探索(領域切替)をトレードオフし,極めて長い地平線上で堅牢なマルチホップ推論を可能にする適応的ポリシーを導入する。
しかし, 従来のRL法では, 粗末な結果水準の報酬に頼っており, 長期的推論に最適の信用割当が生じるため, このような多ターンツール利用エージェントの訓練は依然として困難である。
そこで本研究では,標本効率を保ちつつ,不確実なポストツール状態の探索に集中する不確実性優先ポリシー最適化手法であるUPS-GRPOを開発した。
さらに、ターンレベルの優位性分解を導入し、結果報酬とツールグラウンドの時間的アライメント報酬を統合し、クレジット割り当てを改善する。
実験の結果、SCOUTは超長期のエゴセントリックなベンチマークで最先端の結果を達成する一方で、短い水平長ビデオ設定では競争力を維持していることがわかった。
関連論文リスト
- ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。
Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。
ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
論文 参考訳(メタデータ) (2026-09-01T10:54:13Z) - RTPO: Reverse-Turn Policy Optimization for Stabilizing Agentic RL Training [3.390485555273589]
強化学習(RL)を用いたマルチターンエージェントのトレーニングにより、大規模言語モデルでは複雑な推論を行い、外部ツールを使用し、単一ターン設定以上の反復探索を行うことができる。
しかし、マルチターンRLトレーニングは非常に不安定であり、ターン数が増加するにつれて性能が著しく低下することが多い。
不安定性の3つの厳密に結合された源は,ロールアウト学習コンテキストミスマッチ,スパース端末報酬によるターンレベルクレジット割り当ての弱さ,非同期ポリシドリフトである。
マルチターンロールアウトをスパース逆木として整理し,時相逆順でターンレベルのポリシー更新を行うRTPO(Reverse-Turn Policy Optimization)を提案する。
論文 参考訳(メタデータ) (2026-08-19T08:33:01Z) - CARE: Competence-Aware Reward Shaping for Adaptive Reasoning Length in Video-MLLMs [50.189987475377656]
マルチモーダル推論における適応推論長最適化のための能力認識型報酬形成フレームワークであるCAREを提案する。
CAREは、パスレートの指数的な移動平均を通したスムーズなコンピテンス推定を維持し、それを訓練を進行段階にルートするために利用する。
複数のビデオ推論と一般的なビデオ理解ベンチマークの実験により、CAREは推論精度を一貫して改善し、強化学習を安定化し、トークン効率を大幅に向上することを示した。
論文 参考訳(メタデータ) (2026-06-18T08:28:26Z) - Representation over Routing: Overcoming Surrogate Hacking in Multi-Timescale PPO [2.490624512942981]
複雑な遅延リワードタスクにおいて,マルチタイムスケールの信号が盲目的に融合し,重度のアルゴリズム的病理に繋がることが示唆された。
批判側では、補助的な表現学習を強制するためにマルチタイムスケールの予測を継続する一方、アクター側では、短期的な信号を厳格に分離し、長期的優位性のみに基づいてポリシーを更新する。
論文 参考訳(メタデータ) (2026-04-15T06:03:07Z) - Act Wisely: Cultivating Meta-Cognitive Tool Use in Agentic Multimodal Models [27.250148827297604]
HDPOは、ツールの効率を競合するスカラー目標から厳格な条件に書き換えるフレームワークです。
私たちのモデルであるMetisは、推論精度を同時に高めながら、ツールの呼び出しを桁違いに削減します。
論文 参考訳(メタデータ) (2026-04-09T17:59:57Z) - ProCeedRL: Process Critic with Exploratory Demonstration Reinforcement Learning for LLM Agentic Reasoning [13.041618832271737]
強化学習(RL)は、大規模言語モデルの推論能力を大幅に向上させる。
これをマルチターンエージェントタスクに適用することは、相互作用の長い水平の性質のため、依然として困難である。
本稿では,ProCeedRL:Explorative Demonstration RLによるプロセス批判を提案する。
論文 参考訳(メタデータ) (2026-04-02T13:10:06Z) - Insight-V++: Towards Advanced Long-Chain Visual Reasoning with Multimodal Large Language Models [65.4947731385794]
基礎画像中心モデルであるInsight-Vから進化した統合多エージェント視覚推論フレームワークを提案する。
空間的時間的推論を強化し、評価ロバスト性を向上させる2つの新しいアルゴリズムST-GRPOとJ-GRPOを導入する。
LLaVA-NeXTやQwen2.5-VLといったベースモデルの実験は、挑戦的な画像とビデオの推論ベンチマーク間で大きなパフォーマンス向上を示している。
論文 参考訳(メタデータ) (2026-03-18T15:28:07Z) - Agentic Spatio-Temporal Grounding via Collaborative Reasoning [80.83158605034465]
時間的ビデオグラウンド(Temporal Video Grounding)は、テキストクエリが与えられたビデオ内の対象物または人の時間的チューブを検索することを目的としている。
本稿では,STVGの課題に対して,オープンワールドおよびトレーニングフリーシナリオに向けたエージェント時空間グラウンド(ASTG)フレームワークを提案する。
具体的には、現代多言語モデル(MLLM)を活用した2つの特殊エージェントSRA(Spatial Reasoning Agent)とTRA(Temporal Reasoning Agent)である。
人気のあるベンチマークの実験は、既存の弱教師付きおよびゼロショットアプローチをマージンで上回る提案手法の優位性を実証している。
論文 参考訳(メタデータ) (2026-02-10T10:16:27Z) - Training Multi-Turn Search Agent via Contrastive Dynamic Branch Sampling [29.182538022605627]
Branching Relative Policy Optimization (BranPO) は、高額な報酬なしで段階レベルのコントラスト管理を提供する価値のない手法である。
BranPOは尾部付近の軌跡を切断し、他の連続をサンプリングし、共有接頭辞の上に対照的な接尾辞を構成する。
さらに効率を向上し、トレーニングを安定させるために、タスク間の分岐周波数に適応する難易度分岐サンプリングと、不正な動作を抑制するために冗長なステップマスキングを導入する。
論文 参考訳(メタデータ) (2026-02-03T16:43:09Z) - Evidence-Augmented Policy Optimization with Reward Co-Evolution for Long-Context Reasoning [52.144281362465996]
本稿では,強化学習を長期シナリオに適用するためのEAPO(Evidence-Augmented Policy Optimization)を提案する。
最初にEvidence-Augmented Reasoningパラダイムを確立し、Tree-Structued Evidence Smplingを介して検証する。
次に、報酬モデルがグループ相対エビデンス・リワードを計算する特殊なRLアルゴリズムを導入する。
トレーニングを通して正確な監視を維持するため、適応的リワード・ポリティ共進化機構をさらに取り入れる。
論文 参考訳(メタデータ) (2026-01-15T11:40:57Z) - Learn the Ropes, Then Trust the Wins: Self-imitation with Progressive Exploration for Agentic Reinforcement Learning [41.90621652673528]
エージェントLLMを学習するためのカリキュラムベースの自己アニメーション学習(SIL)レシピであるSPEARを提案する。
具体的には,本手法は,本質的な報奨を生かして,技術レベルの探究を促進するためのカリキュラムを取り入れている。
さらにトレーニングを安定させるために、リプレイバッファでの経験の利点を再検討し、潜在的ポリシードリフトに対処する。
論文 参考訳(メタデータ) (2025-09-26T17:20:38Z) - Agentic Reinforced Policy Optimization [66.96989268893932]
検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。
現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。
エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
論文 参考訳(メタデータ) (2025-07-26T07:53:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。