論文の概要: VICT: Verifier-Instrumented Credit Tracing for Long-Horizon LLM Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.28128v1
• Date: Fri, 28 Aug 2026 09:43:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.264874
• Title: VICT: Verifier-Instrumented Credit Tracing for Long-Horizon LLM Agent Reinforcement Learning
• Title（参考訳）: VICT:長期LLMエージェント強化学習のための検証器付クレジットトレーシング
• Abstract要約: VICT(VerifierInstrumented Credit Tracing)は、原子を依存性検証エッジを通じて動作にトレースするトレーニングタイムインターフェースである。 結果のみのトレーニングよりも大幅に改善され、最近のきめ細かいクレジットメソッドと並行して、強力なパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 6.237984544487965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained credit assignment is a central challenge in reinforcement learning for long horizon LLM agents. Standard objectives often train from programmatically verifiable terminal rewards by broadcasting each sparse outcome to every action in a trajectory. Existing methods typically seek finer credit from the rollout side, constructing auxiliary trajectory signals or additional comparisons to estimate action importance. Although useful, these approaches still treat the verifier that judged success as a scalar reward, discarding its internal task structure. Our key insight is that many verifiable tasks already encode the relevant checks inside their terminal verifier. We propose VICT (VerifierInstrumented Credit Tracing), a training-time interface that exposes executable or evidence backed atoms and traces them back to actions through dependency-valid proof edges. VICT redistributes group-relative advantage only along those edges, shifting credit assignment from rollout-side inference to verifierside tracing. It preserves the original terminal reward, abstains when evidence is incomplete or ambiguous, and changes only the training-time advantage tensor, requiring no learned critic, process labels, branch rollouts, or inference-time verifier access. On ALFWorld and WebShop, VICT improves substantially over outcome-only training and achieves strong performance alongside recent fine-grained credit methods; ablations rule out dense atom rewards, final-commit credit, temporal proximity, and sparsity as sufficient explanations.
• Abstract（参考訳）: 細粒度信用割当は長軸LLMエージェントの強化学習における中心的な課題である。 標準目標はしばしばプログラムで検証可能な端末報酬から訓練し、それぞれのスパース結果を軌道上の全てのアクションにブロードキャストする。 既存の方法は、通常ロールアウト側からより詳細な信用を求め、補助的な軌跡信号を構築したり、行動の重要性を推定するための追加の比較を行う。 これらの手法は有用ではあるが、成功をスカラー報酬と判断する検証器を扱い、内部のタスク構造を破棄する。 我々の重要な洞察は、多くの検証可能なタスクが、端末検証装置内の関連するチェックをエンコードしているということです。 VICT(VerifierInstrumented Credit Tracing)は、実行可能または証拠を裏付けた原子を公開し、依存正負の証明エッジを介して動作に遡る訓練時インタフェースである。 VICTは、これらのエッジに沿ってのみグループ相対的優位性を再分配し、ロールアウト側推論から検証側トレースにクレジット割り当てをシフトする。 元の端末の報酬を保ち、証拠が不完全であるか曖昧であるかを保留し、学習した批評家、プロセスラベル、ブランチロールアウト、推論時の検証アクセスを必要としない訓練時の有利なテンソルだけを変更する。 ALFWorldとWebShopでは、VICTは結果のみのトレーニングよりも大幅に改善され、最近のきめ細かなクレジットメソッドと共に強力なパフォーマンスを実現している。

関連論文リスト

• Agentic Reinforcement Learning with Self-Distilled Reward Shaping [12.091871903119698]
  エージェント強化学習は、LLMエージェントが相互作用を通じて学ぶことを可能にするが、低軌道レベルの報酬は、どの中間決定が信用に値するかを特定せずに、成功を明らかにする。 本稿では,言語エージェントに対する返却関連トークンレベルクレジットを構築するためのフレームワークである,自己拡張型リワードシェーピングを用いたエージェント強化学習を紹介する。 実験の結果、ADRSは長い水平タスクのパフォーマンスを継続的に改善し、RLバックボーン、データ設定の削減、目に見えないタスク、トレーニングの拡張などを実現している。
  論文  参考訳（メタデータ） (2026-08-04T06:56:47Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• STAMP: Provenance-Guided Credit Assignment for Deep Search Agents [16.1299556246389]
  ディープリサーチエージェントの強化学習は、主に軌道レベルのスコアリングに焦点を当てている。 本稿では、参照ベースの検証器が各引用文書がエンティティや関係をサポートするかどうかを判断するSTAMPを提案する。 BrowseComp、BrowseComp-ZH、xbench-DSでは、STAMPはGRPOのベースラインを+2.0/+5.5/+3.0ポイント改善している。
  論文  参考訳（メタデータ） (2026-07-13T07:12:55Z)
• PACT: Privileged Trace Co-Training for Multi-Turn Tool-Use Agents [57.69188221227875]
  マルチターンツール利用エージェントのためのPrivileged trAce Co-Trainingフレームワークを提案する。 キーとなる考え方は、専門家のトレースをロールアウト時間ヒントではなく、トレーニング時の最適化信号としてのみ使用することだ。 PACT は強い SFT および RL ベースのベースラインよりも一貫して改善されていることを示す。
  論文  参考訳（メタデータ） (2026-06-15T04:46:23Z)
• PBSD: Privileged Bayesian Self-Distillation for Long-Horizon Credit Assignment [35.978805768172656]
  ロングホライゾンのエージェントタスクは、結果ベース強化学習の基本的なクレジット割り当て課題となる。 PBSD (Privileged Bayesian Self-Distillation) はベイズが校正した自己蒸留法である。
  論文  参考訳（メタデータ） (2026-06-08T11:20:58Z)
• TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
  ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。 本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-04T07:15:43Z)
• Faithfulness as Information Flow: Evaluating and Training Faithful Chain-of-Thought Reasoning [10.87972575497941]
  思考の連鎖(CoT)推論は言語モデルを監視するのに有用である。 モデルはCoTをバイパスするプロンプト・ツー・アンサー・ショートカットに依存することができる。 構造的情報フローの観点からCoTの忠実性を考察する。
  論文  参考訳（メタデータ） (2026-05-22T23:37:29Z)
• Verifiable Process Rewards for Agentic Reasoning [21.195739597726142]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)の推論能力を向上させる。 既存のアプローチのほとんどは、少ない結果レベルのフィードバックに依存しています。 本稿では,これらのオーラクルを強化学習のための高密度なターンレベルの監視に変換するフレームワークであるVerifiable Process Rewards (VPR)を提案する。
  論文  参考訳（メタデータ） (2026-05-11T10:30:53Z)
• Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
  Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。 REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。 スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
  論文  参考訳（メタデータ） (2026-02-18T02:55:55Z)
• From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
  検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。 最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。 このようにして、RLVRRは報酬を2つの次元に分解する。
  論文  参考訳（メタデータ） (2026-01-26T14:39:58Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。