Fugu-MT 論文翻訳(概要): Multi-Agent Self-Improving Reinforcement Learning for Video Reasoning

論文の概要: Multi-Agent Self-Improving Reinforcement Learning for Video Reasoning

arxiv url: http://arxiv.org/abs/2608.28675v1
Date: Tue, 25 Aug 2026 07:46:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:30.704504
Title: Multi-Agent Self-Improving Reinforcement Learning for Video Reasoning
Title（参考訳）: ビデオ推論のためのマルチエージェント自己改善型強化学習
Abstract要約: グラウンドドビデオ質問応答や時間的グラウンド化のようなビデオ推論タスクは、クエリをサポートする時間的エビデンスを選択する必要がある。凍結検証器がトレーニングをガイドできるかどうかについて検討する。我々のフレームワークは、トレーニング可能なEmphGrounderと凍結したEmphVerifierを結合する: Grounderは候補の軌跡とエビデンスセグメントをサンプリングする。
参考スコア（独自算出の注目度）: 45.361080098317665
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Video reasoning tasks such as grounded video question answering and temporal grounding require selecting temporal evidence that supports the query. In many current training setups, temporal supervision is applied through local objectives such as boundary regression or span generation, while verification is used mainly to rerank candidate segments at inference time. We study whether a frozen verifier can also guide training. Our multi-agent framework couples a trainable \emph{Grounder} with a frozen \emph{Verifier}: the Grounder samples candidate trajectories and evidence segments, the Verifier assigns query-conditioned segment scores, a group-relative policy-gradient objective favors trajectories that outperform their within-input peers, and a bootstrapped calibration loss steers temporal predictions toward verifier-preferred spans. Trained on source tasks and evaluated without target-dataset fine-tuning, a two-billion-parameter instantiation transfers zero-shot across grounded question answering, temporal grounding, and long-video question answering, reaching 28.7\% intersection-over-union and 25.4\% answer-grounding accuracy on a grounded-question-answering benchmark, 46.1\% intersection-over-union on a temporal-grounding benchmark, and 54.1\% on a long-video question-answering benchmark. Relative to a strong same-scale baseline, the gains are modest but consistent, with the clearest improvements on relevance-oriented metrics such as intersection-over-union and moderate-overlap recall. Within the tested benchmarks and transfer setting, the results support frozen verification as a training signal for evidence selection, while showing that strict boundary precision remains comparatively weaker. Code and models are available at https://anonymous.4open.science/r/MASIRL-E50C/
Abstract（参考訳）: グラウンドドビデオ質問応答や時間的グラウンド化のようなビデオ推論タスクは、クエリをサポートする時間的エビデンスを選択する必要がある。現在の多くのトレーニングでは、時間的監督は境界回帰やスパン生成といった局所的な目的を通じて適用され、検証は主に推論時に候補セグメントをリランクするために使用される。凍結検証器がトレーニングをガイドできるかどうかについて検討する。我々のマルチエージェントフレームワークは、トレーニング可能な \emph{Grounder} と凍結した \emph{Verifier} とを結合する: Grounder は候補軌跡とエビデンスセグメントをサンプリングし、Verifier はクエリ条件付きセグメントスコアを割り当て、group-relative policy-gradient objective は、彼らのインプットピアよりも優れたトラジェクトリを優先し、ブートストラップされたキャリブレーション損失ステアは、検証対象スパンに対して時間予測を行う。ソースタスクに基づいて訓練され、ターゲットデータセットの微調整なしで評価され、2ビリオンパラメータのインスタンス化は、接地された質問応答、時間的接地、長ビデオの質問応答でゼロショットを転送し、接地された質問応答ベンチマークで28.7\%と25.4\%の回答接地精度、時間的接地ベンチマークで46.1\%、長時間ビデオの質問応答ベンチマークで54.1\%に達する。強い同スケールのベースラインとは対照的に、利得は控えめだが一貫性があり、相互接続や中程度のオーバーラップリコールといった関連性指向のメトリクスが明らかに改善されている。試験されたベンチマークと転送設定では、証拠選択のトレーニング信号として凍結検証をサポートしながら、厳密な境界精度は比較的弱いままである。コードとモデルはhttps://anonymous.4open.science/r/MASIRL-E50C/で入手できる。

論文の概要: Multi-Agent Self-Improving Reinforcement Learning for Video Reasoning

関連論文リスト