論文の概要: RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2504.20073v1
• Date: Thu, 24 Apr 2025 17:57:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.561514
• Title: RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning
• Title（参考訳）: RAGEN:多段階強化学習によるLLMエージェントの自己進化理解
• Authors: Zihan Wang, Kangrui Wang, Qineng Wang, Pingyue Zhang, Linjie Li, Zhengyuan Yang, Kefan Yu, Minh Nhat Nguyen, Licheng Liu, Eli Gottlieb, Monica Lam, Yiping Lu, Kyunghyun Cho, Jiajun Wu, Li Fei-Fei, Lijuan Wang, Yejin Choi, Manling Li,
• Abstract要約: 対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
• 参考スコア（独自算出の注目度）: 125.65034908728828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training large language models (LLMs) as interactive agents presents unique challenges including long-horizon decision making and interacting with stochastic environment feedback. While reinforcement learning (RL) has enabled progress in static tasks, multi-turn agent RL training remains underexplored. We propose StarPO (State-Thinking-Actions-Reward Policy Optimization), a general framework for trajectory-level agent RL, and introduce RAGEN, a modular system for training and evaluating LLM agents. Our study on three stylized environments reveals three core findings. First, our agent RL training shows a recurring mode of Echo Trap where reward variance cliffs and gradient spikes; we address this with StarPO-S, a stabilized variant with trajectory filtering, critic incorporation, and decoupled clipping. Second, we find the shaping of RL rollouts would benefit from diverse initial states, medium interaction granularity and more frequent sampling. Third, we show that without fine-grained, reasoning-aware reward signals, agent reasoning hardly emerge through multi-turn RL and they may show shallow strategies or hallucinated thoughts. Code and environments are available at https://github.com/RAGEN-AI/RAGEN.
• Abstract（参考訳）: 対話型エージェントとしての大規模言語モデル(LLM)のトレーニングでは,長期的意思決定や確率的環境フィードバックとのインタラクションなど,ユニークな課題が提示される。 強化学習(RL)は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 我々は、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPO(State-Thinking-Actions-Reward Policy Optimization)を提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介した。 3つのスタイル化された環境について検討したところ、3つの中核的な発見が判明した。 第一に、我々のエージェントRLトレーニングは、報酬分散の崖と勾配のスパイクを繰り返すエコートラップの繰り返しモードを示し、これを、軌道フィルタリング、批判的取り込み、分離されたクリッピングを備えた安定化版であるStarPO-Sで解決する。 第2に、RLロールアウトの成形は、様々な初期状態、中間相互作用の粒度、より頻繁なサンプリングの恩恵を受ける。 第3に,多ターンRLを通したエージェント推論は,微粒で推論に注意を要する報酬信号がなければほとんど現れず,浅い戦略や幻覚的思考を示す可能性があることを示す。 コードと環境はhttps://github.com/RAGEN-AI/RAGENで公開されている。

関連論文リスト

• Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
  ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。 複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。 Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。 我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
  論文  参考訳（メタデータ） (2025-03-31T17:55:23Z)
• GTR: Guided Thought Reinforcement Prevents Thought Collapse in RL-based VLM Agent Training [62.536191233049614]
  検証結果報酬(RLVR)を用いた強化学習は、大規模言語モデル(LLM)におけるチェーン・オブ・ソート(CoT)推論を効果的にスケールアップした。 本研究は、24点やALFWorldの具体化タスクなど、複雑なカードゲームに関する広範な実験を通じてこの問題を調査する。 報酬が行動結果にのみ基づく場合、RLはVLMにおけるCoT推論の動機付けに失敗し、代わりに思考崩壊と呼ばれる現象が生じる。
  論文  参考訳（メタデータ） (2025-03-11T15:17:02Z)
• MM-Eureka: Exploring the Frontiers of Multimodal Reasoning with Rule-based Reinforcement Learning [55.82649731348012]
  MMK12データセットとMM-EUREKAを7B,32Bパラメータで導入する。 前者は、人間の検証された答えと解法を含む多様な知識領域を特徴とする高品質なマルチモーダル数学推論データセットである。 後者は,オンラインフィルタリングを利用したルールベース強化学習と,トレーニング安定性を高めるための2段階トレーニング戦略を用いたマルチモーダルモデルである。
  論文  参考訳（メタデータ） (2025-03-10T14:23:12Z)
• SFO: Piloting VLM Feedback for Offline RL [1.3597551064547502]
  VLM(Vision-Language Models)は、アクション条件のトレーニングデータがないため、制御タスクを解く能力に制限がある。 AIフィードバックからの強化学習における重要な課題は、VLM由来の信号を学習プロセスに統合する方法を決定することだ。 本稿では,人間のフィードバックに基づく手法から,より複雑な強化学習を達成し,よりシンプルで効果的なアプローチであるフィルタリングと重み付き行動クローニングを提案する。
  論文  参考訳（メタデータ） (2025-03-02T23:52:46Z)
• On the Emergence of Thinking in LLMs I: Searching for the Right Intuition [34.32871896067864]
  自己学習による強化学習(RLSP)というポストトレーニングフレームワークを提案する。 RLSPは、推論プロセスの人間または合成的なデモンストレーションによる微調整、多種多様な効率的な推論行動を促進するための探索報酬信号の使用、報酬ハッキングを予防しながら正当性を確保するための結果検証器によるRLトレーニングの3段階を含む。 数学領域における実証的研究は、RLSPが推論を改善することを示している。
  論文  参考訳（メタデータ） (2025-02-10T18:52:04Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [66.9481561915524]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• Online Planning for Multi-UAV Pursuit-Evasion in Unknown Environments Using Deep Reinforcement Learning [16.676389371667284]
  マルチUAV追跡回避は、UAV群知能にとって重要な課題である。 本研究では,協調戦略学習における部分的可観測性に対処するために,回避者予測強化ネットワークを導入する。 我々は、2段階の報酬改善を通じて実現可能な政策を導出し、ゼロショット方式で実四重項にポリシーを展開する。
  論文  参考訳（メタデータ） (2024-09-24T08:40:04Z)
• Multi-turn Reinforcement Learning from Preference Human Feedback [41.327438095745315]
  RLHF(Reinforcement Learning from Human Feedback)は、大規模言語モデルと人間の嗜好を整合させる標準的なアプローチとなっている。 既存のメソッドは、選好を単一の決定(ターン)レベルでエミュレートすることで機能する。 本研究では,2つの全会話間の嗜好フィードバックから強化学習のための新しい手法を開発する。
  論文  参考訳（メタデータ） (2024-05-23T14:53:54Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Robust Reinforcement Learning as a Stackelberg Game via Adaptively-Regularized Adversarial Training [43.97565851415018]
  ロバスト強化学習(RL)は、モデルエラーや敵攻撃によるパフォーマンス向上に重点を置いている。 既存の文献の多くは、解の概念としてナッシュ平衡を伴うゼロサム同時ゲームとして RARL をモデル化している。 RRL-Stackと呼ばれる一般のStackelbergゲームモデルである、ロバストなRLの階層的な新しい定式化を導入する。
  論文  参考訳（メタデータ） (2022-02-19T03:44:05Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。