論文の概要: When Fine-Grained Credit Assignment Helps and Hurts: Multimodal Agentic Reinforcement Learning through Video Editing

• arxiv url: http://arxiv.org/abs/2610.35497v1
• Date: Mon, 26 Oct 2026 14:25:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.028402
• Title: When Fine-Grained Credit Assignment Helps and Hurts: Multimodal Agentic Reinforcement Learning through Video Editing
• Title（参考訳）: 細粒度クレジットアサインメントが役に立ったとき--ビデオ編集によるマルチモーダルエージェント強化学習
• Abstract要約: 強化学習は、トレーニングエージェントが推論とツールの使用を約束することを示している。 きめ細かいクレジット代入が学習を改善するのか、タスクのパフォーマンスを向上できないのかは、まだ不明である。 ビデオ編集は、マルチモーダル認識、長期計画、ツール使用と遅延した結果フィードバックを組み合わせることで、この問題に有用なテストベッドを提供する。
• 参考スコア（独自算出の注目度）: 8.685396739054385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) has shown promise for training multimodal agents to reason and use tools. However, it remains unclear when fine-grained credit assignment improves learning and when it fails to improve task performance. Video editing provides a useful testbed for this question, combining multimodal perception, long-horizon planning, and tool use with delayed outcome feedback. We construct four movie-trailer editing task types---Content Selection, Narrative Sequencing, Rough Cut, and Fine Cut---that reflect real-world editing workflows and span different levels of task complexity and interaction horizon. Decaying process rewards provides the largest benefit on Fine Cut, with a 45.4% relative gain over outcome-only GRPO on tasks averaging more than 60 turns under outcome-only GRPO. On the three shorter-horizon task types averaging 30--40 turns under the same baseline, outcome-only GRPO remains competitive, with decaying process rewards yielding at most a 10.4% relative gain. Process rewards from an LLM judge initially improve tool use and encourage visual inspection. As training progresses, however, GRPO+PRM with a fixed process-reward weight increasingly exhibits excessive reasoning and redundant tool calls: process rewards continue to rise while task completion rates and outcome scores decline. Decaying the process-reward weight to zero mitigates this reward-hacking behavior while preserving the early gains. Despite dense token-level supervision, on-policy self-distillation (OPSD) yields little improvement or substantial degradation and is highly sensitive to the choice of privileged information. Our analysis reveals differences in teacher--student disagreement and gradient magnitudes, and suggests possible dilution of informative signals over long trajectories.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、マルチモーダルエージェントによる推論とツールの使用のトレーニングを約束している。 しかし, きめ細かいクレジット代入が学習を改善するのか, タスク性能が向上しなかったのかは, いまだ不明である。 ビデオ編集は、マルチモーダル認識、長期計画、ツール使用と遅延した結果フィードバックを組み合わせることで、この問題に有用なテストベッドを提供する。 本研究では,現実の編集ワークフローを反映し,タスクの複雑さと相互作用の多様さにまたがる,コンテンツ選択,ナラティブシークエンシング,ラフカット,ファインカットの4種類の映画トレーラ編集タスクタイプを構築した。 プロセス報酬の減少は、結果のみのGRPOよりも45.4%の利益が得られ、結果のみのGRPOでは60ターン以上のタスクが平均される。 平均30-40回転の短い3つのタスクタイプでは、結果のみのGRPOは競争力を持ち、崩壊するプロセスの報酬は少なくとも10.4%の相対的な利得を得る。 LLM判事からのプロセス報酬は、最初はツールの使用を改善し、視覚検査を促進する。 しかし、トレーニングが進むにつれて、GRPO+PRMはプロセスリワード重みが固定され、過剰な推論や冗長なツールコールが現れるようになり、プロセス報酬は増加し続け、タスク完了率と結果スコアは減少する。 プロセス・リワードの重量をゼロにすると、この報奨行動が軽減され、早期利得が保たれる。 密集したトークンレベルの監視にもかかわらず、オン・ポリティィ自己蒸留(OPSD)は改善や実質的な劣化がほとんどなく、特権情報の選択に非常に敏感である。 分析の結果,教師の意見の不一致と勾配等級の違いが明らかとなり,長い軌道上の情報伝達信号の希釈の可能性が示唆された。

関連論文リスト

• Shockingly Simple Self-retrospection Improves Agentic Models Without RL [56.88703385147974]
  本研究は,説明のみの訓練がその後の行動に与える影響を分離するために,レトロスペクティブ・オンリー・ファインチューニングについて検討する。 Qwen3.5-4B を用いたソフトウェア工学実験では、ROFT は成功と失敗の混合したベースモデルの試行に関する問題で訓練されている。 また、64のサンプルベースモデル試みが失敗する個々のタスクの解決も学べる。
  論文  参考訳（メタデータ） (2026-09-28T17:54:24Z)
• ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment [66.45065414461274]
  ロングホライゾン検索エージェントは、最終的な答えを得るために証拠を検索、検索、検証、統合するための複数のシーケンシャルなアクション(ステップ)をしなければならない。 本稿では,長距離検索エージェントを訓練するためのきめ細かい信用割当てフレームワークであるAnswer-Backtracked Credit Assignment (ABC)を提案する。 ABCは、スパース軌跡レベルの結果を、誤動作や冗長な動作を抑えながら、有用な動作(たとえ軌道が失敗しても)を報いるような、密度の高いステップレベルの監視に変換する。
  論文  参考訳（メタデータ） (2026-08-05T17:41:31Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents [24.215311212134882]
  本稿では,高密度なプロセス報酬から得られる豊富な情報を活用して,結果報酬によるトレーニングを容易にするために,Reward-Swap Policy Optimization (RSPO)を提案する。 RSPOは、最適化目標と真の結果報酬との整合性を確保しつつ、サンプル軌跡の多様性を保証する。
  論文  参考訳（メタデータ） (2026-07-06T06:32:39Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• HINT-SD: Targeted Hindsight Self-Distillation for Long-Horizon Agents [45.00250014235802]
  強化学習による長期LLMエージェントの訓練は、タスクが成功するか、どの中間動作が結果を引き起こしたのか、どのように修正されるべきなのかを明らかにするため、困難である。 近年の手法では、ターンレベルのアクション出力信号から報酬やテキストヒントを生成したり、あるいはフィードバック条件の自己蒸留を用いてこの問題を緩和している。 本研究では,HINT-SDを提案する。HINT-SDは,フルトラジェクティブ・ヒンドシット(Hndsight)を用いて,障害関連アクションを選択し,目標アクションスパンのみにフィードバック条件付き蒸留を適用する。
  論文  参考訳（メタデータ） (2026-05-18T05:34:03Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Stabilizing Long-term Multi-turn Reinforcement Learning with Gated Rewards [13.70228195630989]
  本稿では,マルチターンインタラクション,dockerベースの実行,カスタマイズ可能な報酬関数をサポートする統合システムであるSWE指向RLフレームワークを紹介する。 Gated Reward Accumulation (G-RA) も提案する。これは,高位(長期)の報酬が予め定義された閾値を満たす場合にのみ,即時報酬を蓄積する新しい手法である。
  論文  参考訳（メタデータ） (2025-08-14T11:37:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。