論文の概要: ReSAIL: Mitigating Collapse in Iterative Agent Self-Distillation

• arxiv url: http://arxiv.org/abs/2609.39306v1
• Date: Wed, 30 Sep 2026 08:49:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.456202
• Title: ReSAIL: Mitigating Collapse in Iterative Agent Self-Distillation
• Title（参考訳）: ReSAIL:反復型自己蒸留法における崩壊の軽減
• Abstract要約: 反復的な自己蒸留により、エージェントは連続したデプロイメントから学ぶことができる。 反復型自己蒸留法(ReSAIL)の適応的・選択的拡張について紹介する。 ALFWorldとTextCraftでは、ReSAILは3サイクルにわたるモデルスケールで大幅に向上している。
• 参考スコア（独自算出の注目度）: 10.981168734023385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Iterative self-distillation enables LLM agents to learn from successive deployments, offering a path toward recursive self-improvement (RSI). Yet our experiments with existing methods reveal a collapse in deployment performance across cycles, while task performance with privileged information (PI) also declines. We address this collapse by prioritizing informative interaction steps for distillation and preserving PI-conditioned behavior as the student becomes the next teacher. We introduce Retentive and Selective Augmentation for Iterative Self-Distillation (ReSAIL), a plug-in augmentation for iterative PI-based self-distillation. ReSAIL selects interaction steps where PI most strongly changes the teacher's predictions and balances the resulting distillation losses across trajectories. It also regularizes the student's PI-conditioned output distributions toward those of the frozen teacher at selected and unselected steps to preserve PI-conditioned behavior for supervision in the next cycle. On ALFWorld and TextCraft, ReSAIL sustains substantial gains across model scales over three cycles, with an average absolute gain of 22.5% in final-cycle success rates when added to self-distillation baselines. Sensitivity-guided selection of offline data also improves action prediction accuracy for multimodal GUI agents on AITZ. These findings provide the first evidence that a more robust learning mechanism can effectively mitigate performance collapse in iterative agent self-distillation over deployment trajectories.
• Abstract（参考訳）: 反復的な自己蒸留により、LSMエージェントは連続した展開から学び、再帰的自己改善(RSI)への道を提供する。 しかし、既存の手法による実験では、サイクル間でのデプロイメントパフォーマンスの崩壊が示され、特権情報(PI)によるタスクパフォーマンスも低下しています。 本研究は, 学生が次の教師となる際に, 蒸留のための情報的相互作用のステップを優先し, PI条件の行動を保存することによって, この崩壊に対処するものである。 本稿では,反復型自己蒸留のためのプラグインである反復型自己蒸留法(ReSAIL)について紹介する。 ReSAILは、PIが教師の予測を最も強く変える相互作用ステップを選択し、その結果の蒸留損失をトラジェクトリ間でバランスさせる。 また, 学生のPI条件の出力分布を, 次のサイクルにおいて, PI条件の行動を保存するために, 凍結した教師に対して, 選択された未選択のステップで正規化する。 ALFWorldとTextCraftでは、RESAILは3サイクルにわたるモデルスケールで大幅に上昇し、自己蒸留ベースラインに加えると、最終サイクルの成功率の平均は22.5%上昇する。 オフラインデータの感度誘導による選択により、AITZ上の多モードGUIエージェントの動作予測精度が向上する。 これらの知見は、より堅牢な学習機構が、配置軌道上の反復的自己蒸留における性能崩壊を効果的に軽減できることを示す最初の証拠である。

関連論文リスト

• WAM-OPD: Sharpening World Action Models via On-Policy Distillation [84.1328443874472]
  事前訓練された世界行動モデル(WAM)は、多様なロボット操作タスクにまたがる汎用機能を提供する。 WAMのオンライン蒸留(OPD)とWAM-OPDの導入について検討する。 We show WAM-OPD improves target-task performance while maintaining near-itial performance on tasks excludeed by adapt。
  論文  参考訳（メタデータ） (2026-09-28T03:56:23Z)
• From Scoring to Acting: Outcome-Verified Comparative Self-Distillation for LLM Agents [16.67357658768852]
  我々は,OVCSD(Outcome-Verified Comparison Self-Distillation)を提案する。 OVCSDは失敗に終わった学生をプレフィックスツリーに配置し、学生が設定した状態からスキル条件の教師を適応的に呼び出す。 3つのモデルスケールにわたるALFWorldとWebShopの実験は、OVCSDがスキルのないRLと既存の自己蒸留ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-07-30T09:47:58Z)
• SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning [38.54413500261524]
  アウトカムベース強化学習(RL)は、実用的な最適化パラダイムを提供するが、その疎度な軌道レベルの報酬は、中間決定に関する限られたガイダンスを提供する。 筆者らは,自己進化型フレームワークSEED(Self-Evolving On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-07-16T09:57:18Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation [71.16738415436458]
  本稿では、生の障害フィードバックを補正管理のアクティブソースに変換するフレームワークであるReflection-Enhanced Self-Distillation(RESD)を紹介する。 RESDは、局所的なエラーを診断するために振り返りリフレクションを生成し、持続的なグローバルなプレイブックをキュレートすることで、障害の軌跡を解釈する。 複数の連続学習課題に対する実証的な評価は、RESDが標準の自己蒸留ベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-12T20:46:05Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• Efficient Verified Machine Unlearning For Distillation [7.269476063438961]
  PURGE(Partitioned Unlearning with Retraining Guarantee for Ensembles)は、未学習と蒸留を統合した新しいフレームワークである。 理論的解析,未学習プロセスにおける重要なスピードアップの定量化,および複数のデータセットに対する実証的検証を行う。
  論文  参考訳（メタデータ） (2025-03-28T15:38:07Z)
• Dynamic Corrective Self-Distillation for Better Fine-Tuning of Pretrained Models [0.9217021281095907]
  プレトレーニング言語モデル(PLM)の伝達学習過程において発生する攻撃的微調整の問題に対処する。 従来の機械学習における適応的強化法に着想を得て,PLMの微調整を改善するための効果的な動的補正自己蒸留手法を提案する。 本手法は,各イテレーションにおいて,各データポイントに割り当てられた重みを動的に調整することにより,学生モデルが積極的に適応し,自己補正を行う自己蒸留機構を実行することを含む。
  論文  参考訳（メタデータ） (2023-12-12T07:26:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。