論文の概要: Self-Evolving Agents through Privileged Retrospective Distillation

• arxiv url: http://arxiv.org/abs/2610.27495v1
• Date: Tue, 20 Oct 2026 02:13:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.584874
• Title: Self-Evolving Agents through Privileged Retrospective Distillation
• Title（参考訳）: 主観的補充蒸留による自己進化剤
• Abstract要約: ふりかえり自己蒸留(Retrospective Self-Distillation、RSD)は、経験を特権的なふりかえりの文脈を使って密集した監督を行うフレームワークである。 基本方針更新に対して,基本トラジェクトリや検証者由来の報酬を使わずに,RTDを永続的モデル能力に変換することができることを示す。
• 参考スコア（独自算出の注目度）: 25.25989941933095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-evolving agents aim to improve from their own experience rather than remain fixed after deployment, but naturally collected trajectories often lack ground-truth solutions or verifier-derived rewards. We introduce Retrospective Self-Distillation (RSD), a multi-round framework that turns such experience into dense supervision using privileged retrospective context. For each on-policy trajectory, the same underlying model acts as both student and teacher: the teacher re-scores the student's realized actions while conditioning on cross-task precedents and lessons, together with turn-level reflection and future hindsight from the completed trajectory. The resulting teacher distribution is distilled back into the policy through on-policy self-distillation. Across rounds, the experience bank grows and the retrospective context is refreshed, allowing the model, its data, and its supervision to co-evolve. We further introduce frontier-guided context-policy evolution, where a stronger frontier model proposes constrained edits to how privileged context is constructed. Across ALFWorld, ScienceWorld, and SearchQA with Qwen3-8B and Qwen3-14B, RSD improves performance by up to 59.7% relative to the base model, while frontier-guided context-policy evolution adds up to a further 44.7% relative improvement over a fixed context policy. These results show that naturally accumulated experience can be converted into persistent model capability without ground-truth trajectories or verifier-derived rewards for the core policy update.
• Abstract（参考訳）: 自己進化型エージェントは、デプロイ後に固定されたままではなく、自身の経験から改善することを目的としている。 われわれは,このような経験を,特権的ふりかえりコンテキストを用いて密集した監督を行う多層フレームワークであるレトロスペクティブ自己蒸留(Retrospective Self-Distillation,RSD)を紹介した。 教師は、クロスタスクの先例とレッスンを条件にしながら、学生が実現した行動を再スコアし、ターンレベルのリフレクションと、完了した軌跡からの将来の後見を同時に行う。 結果として得られた教師の分布は、政治上の自己蒸留を通じて政策に還元される。 ラウンド全体を通じて、経験銀行が成長し、ふりかえりのコンテキストが更新され、モデル、そのデータ、そしてその監督が共進化する。 より強力なフロンティアモデルでは、特権付きコンテキストの構築方法に対する制約付き編集を提案する。 ALFWorld、ScienceWorld、SearchQAをQwen3-8B、Qwen3-14Bと組み合わせて、RSDはベースモデルと比較して最大59.7%の性能向上を実現している。 これらの結果から, 自然に蓄積した経験を, 基本方針更新に対する基本トラジェクトリや検証者由来の報酬を使わずに, 永続的なモデル能力に変換できることが示唆された。

関連論文リスト

• RSIPO: Recursive Self-Improving Policy Optimization for Agentic Reinforcement Learning via Skill-Policy Co-Evolution [77.88178178061172]
  本稿では、エージェントスキルとポリシーモデルをトレーニングプロセスを通じて共進化させる自己進化型エージェントRLフレームワークである、再帰的自己改善政策最適化(RSIPO)を紹介する。 Qwen2.5-7Bがベースモデルとなり、RSIPOはALFWorldで平均98.6%の成功率を記録し、それぞれ2番目に高いベースラインと標準GRPOに対して2.5%と17.4%の改善を達成した。
  論文  参考訳（メタデータ） (2026-10-11T16:54:58Z)
• Train Ahead, Distill Back: Bootstrapping On-Policy Self-Distillation for Large Language Models [18.908591776248482]
  オンラインの自己蒸留は、特権情報を持つ自己教育者が、モデル自身の軌道に密集したトークンレベルの監督を与えることによって、大きな言語モデルを改善する。 既存の方法は通常、現在の、初期またはゆっくりと平均化されたポリシー状態から自己教育者を構築する。 モデル自体の最適化の進捗を、より強力な自己学習者へとリサイクルできるかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-29T09:35:50Z)
• WAM-OPD: Sharpening World Action Models via On-Policy Distillation [84.1328443874472]
  事前訓練された世界行動モデル(WAM)は、多様なロボット操作タスクにまたがる汎用機能を提供する。 WAMのオンライン蒸留(OPD)とWAM-OPDの導入について検討する。 We show WAM-OPD improves target-task performance while maintaining near-itial performance on tasks excludeed by adapt。
  論文  参考訳（メタデータ） (2026-09-28T03:56:23Z)
• Latent On-Policy Self-Distillation [55.57800223145407]
  On-policy Self-distillation (OPSD) は、特権的な自己教育者を用いて、生徒自身の軌跡を集中的に管理することにより、効果的な経路を提供する。 既存の方法はまだデザイナーが指定した特権的アーティファクトに大きく依存している。 本稿では,教師の特権的文脈自体を経験から学習可能なエンド・ツー・エンドにするため,LOPD(Latent On-Policy Self-Distillation)を導入する。
  論文  参考訳（メタデータ） (2026-08-13T10:05:51Z)
• Self-Improving Large Language Models via Progressive Experience Evolution [52.03479747358687]
  textbfSPEE(textbfSelf-textbfProgressive textbfExperience textbfEvolution)を提案する。 5つの数学的推論ベンチマークの実験は、SPEEが3つのモデルスケールでテスト時間とトレーニング時間の両方の自己進化ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-08-03T12:27:32Z)
• Group-Reflective Self-Distillation for Agentic Reinforcement Learning [8.041052886037766]
  GRSD(Group-Reflective Self-Distillation)は、政策が検証したロールアウトから、能力の整合性と結果の差別的なガイダンスを導出する。 GRSDは競争ベースラインを一貫して上回り、目に見えないタスクをより効果的に一般化する。
  論文  参考訳（メタデータ） (2026-07-30T11:49:46Z)
• SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning [38.54413500261524]
  アウトカムベース強化学習(RL)は、実用的な最適化パラダイムを提供するが、その疎度な軌道レベルの報酬は、中間決定に関する限られたガイダンスを提供する。 筆者らは,自己進化型フレームワークSEED(Self-Evolving On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-07-16T09:57:18Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation [71.16738415436458]
  本稿では、生の障害フィードバックを補正管理のアクティブソースに変換するフレームワークであるReflection-Enhanced Self-Distillation(RESD)を紹介する。 RESDは、局所的なエラーを診断するために振り返りリフレクションを生成し、持続的なグローバルなプレイブックをキュレートすることで、障害の軌跡を解釈する。 複数の連続学習課題に対する実証的な評価は、RESDが標準の自己蒸留ベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-12T20:46:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。