論文の概要: Keep Policy Gradient in Charge: Sibling-Guided Credit Distillation for Long-Horizon Tool-Use Agents

• arxiv url: http://arxiv.org/abs/2606.12634v1
• Date: Wed, 10 Jun 2026 19:53:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.434922
• Title: Keep Policy Gradient in Charge: Sibling-Guided Credit Distillation for Long-Horizon Tool-Use Agents
• Title（参考訳）: 長期ツール使用エージェントの兄弟誘導型クレジット蒸留
• Abstract要約: 自己蒸留は、政策のロールアウトや特権教師を再利用することで、より密集的なシグナルを約束する。 しかし、トークンレベルの直接蒸留は、ツールの使用を静かに破壊できることを示す。 SGCD(Singing-Guided Credit Distillation)を導入する。
• 参考スコア（独自算出の注目度）: 11.997694190254974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-horizon tool-use reinforcement learning can learn from outcome verification, but its trajectory-level advantage is broadcast across many reasoning, API, and answer tokens. Self-distillation promises a denser signal by reusing a policy's own rollouts or a privileged teacher. We show, however, that direct token-level self-distillation can silently destroy tool use: it rehearses teacher behavior without knowing which actions the verifier rewards, so useful skills and harmful shortcuts are amplified together. We introduce Sibling-Guided Credit Distillation (SGCD), which uses distillation for credit assignment rather than as a competing actor loss. Dynamic sampling produces mixed successful and failed sibling rollouts; an external LLM summarizes their contrast into a training-only stepwise credit reference; dense teacher/student divergence drives credit reassignment; and bounded detached credit weights reshape GRPO token advantages. The deployed student sees no external LLM, sibling evidence, or oracle. Across AppWorld and $τ^3$-airline, SGCD improves over matched GRPO comparators: AppWorld TGC $42.9 \to 45.6$ on test_normal and $24.7 \to 27.0$ on test_challenge, and $τ^3$-airline pass@1 $0.583 \to 0.602$.
• Abstract（参考訳）: 長期ツールを用いた強化学習は結果の検証から学ぶことができるが、その軌道レベルの優位性は多くの推論、API、回答トークンにまたがって放送される。 自己蒸留は、政策のロールアウトや特権教師を再利用することで、より密集的なシグナルを約束する。 しかし, 直接トークンレベルの自己蒸留はツールの使用を静かに破壊する可能性を示し, 検証者報酬の行動を知ることなく教師の行動をリハーサルするので, 有用なスキルと有害なショートカットを同時に増幅する。 SGCD(Singing-Guided Credit Distillation)を導入する。 ダイナミックサンプリングは、複雑な成功と失敗した兄弟関係のロールアウトを生み出し、外部のLCMは、そのコントラストを、トレーニングのみの段階的なクレジットリファレンスに要約し、密密な教師/学生分散は、クレジット再割り当てを駆動し、境界付き非接触クレジットウェイトはGRPOトークンのアドバンテージを再構成する。 配備された学生は、外部のLCM、兄弟の証拠、または託宣を見ることができない。 AppWorld TGC $42.9 \to 45.6$ on test_normal and $24.7 \to 27.0$ on test_challenge, $τ^3$-airline pass@1 $0.583 \to 0.602$。

関連論文リスト

• Learning to Follow In-Context Watermark Instructions via Self-Distillation [117.19153619258644]
  In-context Watermarking (ICW) は、モデルに統計的に検出可能な信号をその応答に埋め込むよう要求するクエリへの命令をプリペイドする。 我々は、3つの検証可能なICW命令ファミリのベンチマークである$mathsfICWBench$を導入し、それぞれが検出性と応答品質の両方にスコア付けする。 本研究では,より強いモデルからの蒸留を必要とせず,手動のアノテーションも必要とせず,既存のICW IF能力も必要としない自己完結型2段階訓練法を提案する。
  論文  参考訳（メタデータ） (2026-08-29T03:42:28Z)
• VICT: Verifier-Instrumented Credit Tracing for Long-Horizon LLM Agent Reinforcement Learning [6.237984544487965]
  VICT(VerifierInstrumented Credit Tracing)は、原子を依存性検証エッジを通じて動作にトレースするトレーニングタイムインターフェースである。 結果のみのトレーニングよりも大幅に改善され、最近のきめ細かいクレジットメソッドと並行して、強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-08-28T09:43:54Z)
• Teach the Magnitude, Not the Direction: Verifier-Bounded Credit Assignment for Multi-Turn Multi-step LLM Agents [15.12019413574721]
  検証可能な報酬を用いた強化学習は、不均一なターン毎の結果を単一の報酬信号に融合させる。 オンライン蒸留は、トーケンあたりの密集した監督を提供するが、教師が拘束されるか、勾配の集中が崩壊する傾向にある。 我々は、RLの検証済み天井を保持する階層的な信用代入フレームワークであるtextbfCrEST$を導入し、特権付き自己教育者からの高密度トークンレベル信号を取り入れた。
  論文  参考訳（メタデータ） (2026-08-13T12:44:37Z)
• Agentic Reinforcement Learning with Self-Distilled Reward Shaping [12.091871903119698]
  エージェント強化学習は、LLMエージェントが相互作用を通じて学ぶことを可能にするが、低軌道レベルの報酬は、どの中間決定が信用に値するかを特定せずに、成功を明らかにする。 本稿では,言語エージェントに対する返却関連トークンレベルクレジットを構築するためのフレームワークである,自己拡張型リワードシェーピングを用いたエージェント強化学習を紹介する。 実験の結果、ADRSは長い水平タスクのパフォーマンスを継続的に改善し、RLバックボーン、データ設定の削減、目に見えないタスク、トレーニングの拡張などを実現している。
  論文  参考訳（メタデータ） (2026-08-04T06:56:47Z)
• $β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation [85.07190808882523]
  オンライン自己蒸留は推論言語モデルを改善するための有望なアプローチである。 我々は,$-OPSDがバニラOPSDを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-07-30T17:41:16Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
  検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。 オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。 本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-06-14T03:37:27Z)
• TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
  ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。 本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-04T07:15:43Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training [20.04756350098974]
  ラベル付き検証可能なトレーニングデータがバインディング制約である場合、各チェックされた例は、最も情報のあるモデルと報酬密度に割り当てるべきである。 スパース・シークエンス・レベルの報酬は、より良い振る舞いを探索し発見できるモデルにおいて最も有用であるが、より密集したトークンレベルの教師監督は、その振る舞いをより小さなデプロイメントモデルに圧縮するのにより適している。
  論文  参考訳（メタデータ） (2026-05-12T17:57:48Z)
• Learning CLI Agents with Structured Action Credit under Selective Observation [10.420078730796321]
  コマンドラインインタフェース(CLI)エージェントは、進化するエージェントとコンピュータの相互作用、実行可能なコマンドラインプログラム、オンライン実行フィードバックの実践パラダイムとして登場しつつある。 最近の研究では、これらのインタラクション能力を検証可能なタスクフィードバックから学習するために強化学習(RL)を使用しているが、CLIアクションのネイティブな構造化属性を学習信号として活用する手法はほとんどない。 シェル駆動型情報抽出とファイル編集タスクを用いて,これらのボトルネックについて検討する。
  論文  参考訳（メタデータ） (2026-05-08T17:02:31Z)
• Skill-SD: Skill-Conditioned Self-Distillation for Multi-turn LLM Agents [24.99615788156812]
  Skill-SDはエージェント自身の軌道を動的トレーニングのみの監視に変換するフレームワークである。 我々は, 重み付き逆KL損失を導出し, 勾配補正型トークンレベルの蒸留を行った。 エージェントベンチマークの実験結果は、Skill-SDが標準RLベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-04-12T14:57:52Z)
• GTR-Turbo: Merged Checkpoint is Secretly a Free Teacher for Agentic VLM Training [70.77088051192334]
  視覚言語モデル(VLM)上に構築されたマルチモーダルエージェントのためのマルチターン強化学習(RL)は、スパース報酬と長期クレジット割り当てによって妨げられる。 近年の方法は、段階的なフィードバックを提供する教師、例えば、ガイドド・シント・強化(GTR)とオン・ポリシィ蒸留(On-Policy Distillation)をクエリすることで報酬を強化する。 本稿では,GTRの高効率アップグレードであるGTR-Turboについて紹介する。
  論文  参考訳（メタデータ） (2025-12-15T07:11:56Z)
• Train Long, Think Short: Curriculum Learning for Efficient Reasoning [51.506559652495476]
  長さ制御推論のためのカリキュラム学習戦略を提案する。 当社の手法は寛大なトークン予算から始まり、トレーニングをしながら徐々に厳格化します。 GSM8K、MATH500、SVAMP、College Math、GSM+の実験は、カリキュラムベースのトレーニングが固定予算ベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-08-12T13:48:03Z)
• Co-rewarding: Stable Self-supervised RL for Eliciting Reasoning in Large Language Models [56.055015597319674]
  検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力の向上に有効である 近年の自己回帰法は LLM の推論能力を解き放つためのラベルフリーな代替手段について検討している。 我々は、他の視点から補完的な監督を求めることにより、トレーニングの安定性を向上させる新しい自己監督型RLフレームワークであるtextitCo-rewardingを提案する。
  論文  参考訳（メタデータ） (2025-08-01T08:09:14Z)
• Learning to Reason without External Rewards [100.27210579418562]
  RLVR(Reinforcement Learning with Verifiable Rewards)による複雑な推論のための大規模言語モデル(LLM)の訓練は、費用がかかるドメイン固有の監督に依存して効果的であるが制限されている。 内部フィードバックからの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は、LLMが外部の報酬やラベル付きデータなしで本質的な信号から学習できるフレームワークである。 本稿では,モデル自身の信頼度を利用したRLIF手法であるIntuitorについて,その唯一の報奨信号として自己確実性(self-certainty)を提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。