論文の概要: From Self-Distillation to Self-Practice: Privileged Information for Multi-Turn Agents

• arxiv url: http://arxiv.org/abs/2609.29051v1
• Date: Thu, 24 Sep 2026 05:32:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.737867
• Title: From Self-Distillation to Self-Practice: Privileged Information for Multi-Turn Agents
• Title（参考訳）: 自己蒸留からセルフ実践へ:多施設エージェントのための予備情報
• Abstract要約: マルチターンエージェントでは、このパラダイムは学生に自信を持って行動するように教えるが、その背後には情報がないことを示す。 訓練されたエージェントは、監視されていない特権情報を持っているかのように振る舞う。 そこで我々は,PIを維持し,その損失からサンプルへ移動させるPrivileged Self-Practice (PSP)を提案する。
• 参考スコア（独自算出の注目度）: 14.318902788684484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy self-distillation (OPSD) has become a popular recipe for post-training LLM agents. It supervises the agent model at the token level with a stronger teacher view of the same model, obtained by conditioning on privileged information (PI). In this work, we show that in multi-turn agents, this paradigm teaches the student to act with confidence but without the information behind it. The trained agent behaves as if it had privileged information it never observed, and its performance falls well short of plain RL, in the worst case below the untrained base model. Therefore, we propose Privileged Self-Practice (PSP), which keeps the PI and moves it from the loss to the sampler. When the student's rollouts on a task mostly fail, we inject a short per-task instruction written by an analyzer model, sample the task again with the instruction in context, and train on the result with an unchanged GRPO objective. The privileged information stays in the prompt and never enters the loss. Across AppWorld and SWE-bench Verified, with three different student models, PSP obtains the best average score in every setting and is the only method that consistently outperforms plain GRPO, improving task-goal completion by up to 65% on AppWorld and the resolved rate by up to 61% on SWE-bench Verified.
• Abstract（参考訳）: OPSD(On-policy Self-distillation)は、LLMエージェントの訓練後レシピとして人気がある。 トークンレベルでエージェントモデルを監督し、特権情報(PI)の条件付けによって得られる同じモデルのより強力な教師ビューを提供する。 本研究では,マルチターンエージェントにおいて,このパラダイムは学生に自信を持って行動するよう教えるが,背後にある情報はないことを示す。 トレーニングされたエージェントは、監視されていない特権情報を持っているかのように振る舞う。そのパフォーマンスは、トレーニングされていないベースモデルよりも最悪の場合、プレーンなRLにかなり劣る。 そこで我々は,PIを維持して,その損失からサンプルへ移動させるPrivileged Self-Practice (PSP)を提案する。 学生のタスクのロールアウトがほとんど失敗すると、アナライザモデルによって書かれた短いタスク毎の命令を注入し、コンテキスト内の命令で再びタスクをサンプリングし、変更のないGRPO目標で結果のトレーニングを行う。 特権情報はプロンプトに留まり、損失には決して入らない。 AppWorldとSWE-bench Verifiedの3つの異なるモデルで、PSPはすべての設定において最高の平均スコアを取得し、通常のGRPOを一貫して上回り、AppWorldで最大65%、SWE-bench Verifiedで最大61%改善する唯一の方法である。

関連論文リスト

• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• AgenticRL: Self-Refining Agentic Reinforcement Learning for Vision-Conditioned UAV Navigation [2.0325612651874305]
  本稿では,ナビゲーションタスクのためのエージェントガイド型強化学習フレームワークであるAgenticRLを提案する。 AgenticRLは、タスク情報と視覚シーンの観察を解釈するために、マルチモーダル・ジェネレーティブ・プレトレーニング・トランスフォーマー(GPT)エージェントを使用する。 タスク固有の報酬関数を生成し、PPOアルゴリズムを用いてポリシーを訓練し、訓練されたポリシーを評価することで批判的な役割を果たす。 このフィードバックに基づいて、エージェントは障害モードを特定し、クローズドループ自己改善プロセスにおける報酬関数を洗練する。
  論文  参考訳（メタデータ） (2026-06-02T17:50:15Z)
• Unsupervised Process Reward Models [22.283171054858496]
  プロセス・リワード・モデル(Process Reward Models、PRM)は、大規模言語モデル推論を操る強力なメカニズムである。 PRMは、すべての推論ステップに専門家のアノテーションを必要とします。 そこで本研究では,段階別アノテーションのレベルにおいても,最終回答の真正性検証においても,人間の監督を必要としない教師なしPRMの訓練方法を提案する。
  論文  参考訳（メタデータ） (2026-05-11T08:05:27Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)
• VARP: Reinforcement Learning from Vision-Language Model Feedback with Agent Regularized Preferences [13.337649128532307]
  嗜好に基づくRLは、比較フィードバックから報酬を学ぶことによって、これらの落とし穴のいくつかを緩和する。 単一の最終状態の画像は、一般的にエージェントの完全な動きを捉えるのに失敗する。 本稿では,フィードバックの精度を向上し,報酬学習とエージェントのポリシーの整合性を向上する2部構成のソリューションを提案する。
  論文  参考訳（メタデータ） (2025-03-18T01:51:27Z)
• Error-driven Data-efficient Large Multimodal Model Tuning [35.20400815089843]
  大規模マルチモーダルモデル (LMM) は、多くの学術ベンチマークで顕著な性能を示している。 本稿では,新しいタスクにジェネリックLMMを効率よく適応することを目的とした,エラー駆動型データ効率チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-20T08:07:11Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。