論文の概要: More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.19789v1
• Date: Wed, 14 Oct 2026 08:36:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.038316
• Title: More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning
• Title（参考訳）: より良いエージェント : エージェント強化学習における自己蒸留の実態調査
• Abstract要約: エージェント強化学習における自己蒸留は、多くの方法を生み出している。 既存の評価は、異なる実験条件下で発行されたベースラインスコアを再利用することが多い。 これらの制限は、報告された利得の源と、競合する手法の実践的な強みと弱点を曖昧にしている。
• 参考スコア（独自算出の注目度）: 63.18264683480907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-distillation in agentic reinforcement learning has produced a growing number of methods. However, existing evaluations often reuse published baseline scores under differing experimental conditions, provide few direct comparisons among contemporaneous methods, and give limited attention to training stability and computational cost. These limitations obscure the source of reported gains and the practical strengths and weaknesses of competing methods. Costly agent training further motivates a common basis for comparison. To address these gaps, we compare ten representative methods against GRPO on ALFWorld, ScienceWorld, Search-QA, and WebShop across three model sizes. Our study comprises 132 training runs totaling 12,124.4 recorded H800 GPU-hours, with repeated evaluations over eight rollout seeds for the pretrained backbones and all eleven trained methods. Beyond final task performance, we examine training progress, stability, and measured computational cost. Our evaluation yields three key findings. First, gains over GRPO remain limited in scope, with no method consistently outperforming it across settings. Second, strong final performance can mask unstable training. Third, additional training cost does not consistently translate into better performance. We establish this benchmark to support fair, comprehensive comparison and guide future research toward reliable and cost-effective improvements in agent training. Project page: https://aim-uofa.github.io/Self-Distillation-AgentRL/
• Abstract（参考訳）: エージェント強化学習における自己蒸留は、多くの方法を生み出している。 しかし、既存の評価では、異なる実験条件下で公表されたベースラインスコアを再利用することがしばしばあり、同時期の手法と直接比較されることは少なく、訓練の安定性と計算コストに制限がある。 これらの制限は、報告された利得の源と、競合する手法の実践的な強みと弱点を曖昧にしている。 コストのかかるエージェントトレーニングは、比較のための共通の基礎をさらに動機づける。 これらのギャップに対処するため、ALFWorld、ScienceWorld、Search-QA、WebShopのGRPOに対する10の代表的な手法を3つのモデルサイズで比較した。 本研究は132回のトレーニングで計12,124.4回のH800 GPU時間を記録した。 最終タスク性能の他に、トレーニングの進捗、安定性、測定計算コストについて検討する。 私たちの評価は3つの重要な結果をもたらす。 第一に、GRPOの利得はスコープに限られており、設定で常に上回るメソッドは存在しない。 第二に、強い最終パフォーマンスは不安定なトレーニングを隠蔽することができる。 第三に、追加のトレーニングコストは、常により良いパフォーマンスに変換されない。 本ベンチマークは,エージェントトレーニングの信頼性と費用対効果向上に向けた,公正かつ包括的な比較と今後の研究を支援するためのものである。 プロジェクトページ:https://aim-uofa.github.io/Self-Distillation-AgentRL/

関連論文リスト

• Dense Process Supervision for Search Agents via Fact Utility Estimation [39.89624659103789]
  本稿では,実効性推定に基づくプロセス監視手法を提案する。 7つのシングルホップおよびマルチホップQAベンチマーク実験により,本手法が既存のベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-09-01T07:34:33Z)
• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• Retrieval, Reward, and Training Protocols: What Matters in Training Search Agents? [15.605151408619895]
  本稿では,探索エージェント訓練の3つの未探索次元を分離する制御的実証的研究について述べる。 まず、広く使われているWikipedia 2018コーパスにおける重要なデータカバレッジの問題を特定し、それを修正するだけで、トレーニングアルゴリズムの違いよりも大きな利益が得られることを示す。 第2に、結果に基づく報酬法とプロセスに基づく報酬法を3つのベースモデルで体系的に比較し、最も単純な結果に基づくアプローチが、ほとんどの設定において、競争力や優れたパフォーマンスを達成することを発見した。 第三に、トレーニングデータの多様性、非政治データ利用、検索予算のスケーリングを分析し、効果的な検索エージェントの訓練のための実践的ガイドラインを精査する。
  論文  参考訳（メタデータ） (2026-05-27T03:04:36Z)
• Combining Trained Models in Reinforcement Learning [0.0]
  深層強化学習(DRL)は、AtariやGoといったドメインで大きな成果を上げているが、それでも高いサンプルコストとトレーニング環境を超えて、弱い移行に悩まされている。 一般的な反応は、転送、蒸留、アンサンブル法、フェデレーショントレーニングを通じて、以前に訓練されたモデルの情報を再利用することである。 本稿では、DRLにおける事前学習知識の再利用に関する実証的研究について、PRISMA指導による体系的レビューを行う。
  論文  参考訳（メタデータ） (2026-05-04T02:37:55Z)
• Revisiting and Advancing Adversarial Training Through A Simple Baseline [7.226961695849204]
  我々はSimpleATと呼ばれるシンプルなベースラインアプローチを導入し、最近の手法と競合し、堅牢なオーバーフィッティングを緩和する。 我々はCIFAR-10/100とTiny-ImageNetで広範囲に実験を行い、SimpleATの最先端の敵攻撃に対する堅牢性を検証する。 以上の結果から,SimpleATと先進的対人防御手法の相互関係が明らかとなった。
  論文  参考訳（メタデータ） (2023-06-13T08:12:52Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。