論文の概要: AutoRL: A Multi-Agent System towards Autonomous Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2611.17790v1
- Date: Fri, 13 Nov 2026 06:06:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.314845
- Title: AutoRL: A Multi-Agent System towards Autonomous Reinforcement Learning
- Title(参考訳): AutoRL: 自律強化学習のためのマルチエージェントシステム
- Abstract要約: 再帰的自己改善(RSI)は、超知能のためのAI特異性への最も有望な道の1つである。
本稿では,強化学習訓練を自動化するマルチエージェントシステムAutoRLを紹介する。
AutoRLは、進化するトレーニング状態を監視し、プロセスレベルの監視と研究を、進行中のRLトレーニングに統合する。
- 参考スコア(独自算出の注目度): 42.31445456191752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recursive self-improvement (RSI) is one of the most promising paths toward an AI singularity for superintelligence. Achieving this vision requires AI systems to undertake the full training pipeline for iterative improvement. Reinforcement learning (RL) plays an essential role in this cycle to improve model capabilities and generalization, yet automating RL remains difficult due to unstable training dynamics and the need for sustained supervision. We introduce AutoRL, a multi-agent system for automating RL training, as a cornerstone for future RSI. Different from conducting research by end-to-end complete experiments, AutoRL monitors the evolving training state and integrates process-level supervision and research into an ongoing RL training, following the practical workflow of an RL researcher. Specifically, AutoRL consists of three RL-specific agentic roles. Perceptors track training dynamics, rollouts, evaluation, and efficiency, triggering deliberation when they detect anomalies, degradation, or stagnation. Three complementary Proposers diagnose problems and refine candidate interventions through shared evidence and checks. The Orchestrator reviews their recommendation and applies approved changes through online hot updates or checkpoint-based resumption. Experiments on Qwen3 and LongCat-Flash-Lite demonstrate the superiority of AutoRL over static RL recipes and a general agent. The research records show that existing agents can handle unattended RL supervision and dynamic adjustment. The difficulty for future RSI lies in developing fundamental methods that are valuable for resource-consuming validation.
- Abstract(参考訳): 再帰的自己改善(RSI)は、超知能のためのAI特異性への最も有望な道の1つである。
このビジョンを達成するためには、AIシステムが反復的な改善のために完全なトレーニングパイプラインを実行する必要がある。
強化学習(RL)はこのサイクルにおいて、モデルの能力と一般化を改善するために重要な役割を果たすが、不安定なトレーニングダイナミクスと持続的な監視の必要性のため、RLの自動化は依然として困難である。
本稿では,RLトレーニングを自動化するマルチエージェントシステムであるAutoRLを紹介する。
エンドツーエンドの完全な実験による研究とは異なり、AutoRLは進化するトレーニング状態を監視し、RL研究者の実践的なワークフローに従って、プロセスレベルの監督と研究を継続中のRLトレーニングに統合する。
具体的には、AutoRLは3つのRL特異的なエージェントの役割から構成される。
パーセプタはトレーニングのダイナミクス、ロールアウト、評価、効率をトラックし、異常、劣化、停滞を検出すると熟考をトリガーする。
3つの補完的プロポーラは、共有された証拠と小切手を通して問題を診断し、候補者の介入を洗練させる。
Orchestratorはレコメンデーションをレビューし、オンラインホットアップデートやチェックポイントベースのリユースを通じて承認された変更を適用する。
Qwen3とLongCat-Flash-Liteの実験は、静的RLレシピと汎用エージェントよりもAutoRLの方が優れていることを示した。
研究記録は、既存のエージェントが意図しないRLの監督と動的調整を処理可能であることを示している。
将来のRSIの難しさは、リソース消費の検証に有用な基本的な方法を開発することである。
関連論文リスト
- Scaling Automatic Research Agents via World Models [42.9808933592206]
最近の研究(AutoResearch)エージェントは、ソリューションを独立して実装し、実行から学ぶ能力を示している。
これらの利益の裏では、ポストトレーニング(特にRL)が中心的な役割を果たす。
世界モデルRL(WMRL)はこのボトルネックを取り除くために環境実行を世界モデルに置き換える。
論文 参考訳(メタデータ) (2026-08-12T20:11:25Z) - Agent^2 RL-Bench: Can LLM Agents Engineer Agentic RL Post-Training? [23.212983812736343]
Agent2 RL-BenchはエージェントRLのポストトレーニングを評価するためのベンチマークである。
固定予算下では,教師付きパイプラインがエージェント駆動のポストトレーニングを支配していることがわかった。
論文 参考訳(メタデータ) (2026-04-12T09:35:27Z) - Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。
SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。
我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
論文 参考訳(メタデータ) (2025-06-05T07:53:59Z) - RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。
強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。
本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
論文 参考訳(メタデータ) (2025-04-24T17:57:08Z) - On Transforming Reinforcement Learning by Transformer: The Development
Trajectory [97.79247023389445]
Transformerは元々自然言語処理用に開発されたもので、コンピュータビジョンでも大きな成功を収めている。
既存の開発をアーキテクチャ拡張と軌道最適化の2つのカテゴリに分類する。
ロボット操作,テキストベースのゲーム,ナビゲーション,自律運転におけるTRLの主な応用について検討する。
論文 参考訳(メタデータ) (2022-12-29T03:15:59Z) - Automated Reinforcement Learning (AutoRL): A Survey and Open Problems [92.73407630874841]
AutoRL(Automated Reinforcement Learning)には、AutoMLの標準的なアプリケーションだけでなく、RL特有の課題も含まれている。
我々は共通の分類法を提供し、各領域を詳細に議論し、今後の研究者にとって関心のあるオープンな問題を提起する。
論文 参考訳(メタデータ) (2022-01-11T12:41:43Z) - Hierarchical Program-Triggered Reinforcement Learning Agents For
Automated Driving [5.404179497338455]
Reinforcement Learning(RL)とDeep Learning(DL)の最近の進歩は、自動運転を含む複雑なタスクで印象的なパフォーマンスを示しています。
本稿では,構造化プログラムと複数のrlエージェントからなる階層構造を用いて,比較的単純なタスクを実行するように訓練した階層型プログラムトリガー型強化学習法を提案する。
検証の焦点はRLエージェントからの単純な保証の下でマスタープログラムにシフトし、複雑なRLエージェントよりも解釈可能で検証可能な実装となる。
論文 参考訳(メタデータ) (2021-03-25T14:19:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。