論文の概要: Productive State-Space Exploration for Multi-turn RL in LLM Agents

• arxiv url: http://arxiv.org/abs/2610.25957v1
• Date: Mon, 19 Oct 2026 07:49:35 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:04:37.056066
• Title: Productive State-Space Exploration for Multi-turn RL in LLM Agents
• Title（参考訳）: LLMエージェントにおける多ターンRLのプロダクティブな状態空間探索
• Abstract要約: 大規模言語モデル(LLM)エージェントの多ターン長軸環境における強化学習は依然として困難である。 これらの課題に対処するには、エージェントの環境力学理解を改善するために、より生産的なタスク整合探索が必要であると論じる。 本研究は,本質的な好奇心による探索を動機として,タスク完了と本質的な情報探索行動のバランスをとる条件付き状態空間探索フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 33.078963383850045
• License:
• Abstract: Reinforcement Learning (RL) for Large Language Model (LLM) agents in multi-turn, long-horizon environments remains challenging due to inefficient action selection and repetitive behavioral patterns. In particular, agents often become trapped in high-confidence yet unproductive behaviors, repeatedly executing invalid actions or entering action loops that hinder task completion. We observe that these frequently violate environment preconditions, revealing a mismatch between the agent's representation of the internal state and the dynamics of the underlying environment. In addition, repetitive high-confidence actions lead to cyclical behaviors that provide little to no progress towards the goal. We argue that addressing these challenges requires more productive task-aligned exploration to improve the agent's understanding of environment dynamics. Motivated by intrinsic curiosity-driven exploration, we propose a conditional state-space exploration framework that balances task completion with intrinsic information-seeking behavior. Specifically, we introduce an intrinsic reward that penalizes actions whose observation duplicates prior state memory. This provides the benefit of reducing redundant behaviors and encouraging state-space coverage without relying on a general information-theoretic measure. Strong experimental results demonstrate that our approach substantially improves policy learning in multi-turn environments, mitigating invalid actions and repetitive loops.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントのための強化学習(RL)は、非効率な行動選択と反復的な行動パターンのため、多ターン長水平環境において難しいままである。 特に、エージェントは高信頼で非生産的な振る舞いに陥り、無効なアクションを繰り返し実行したり、タスクの完了を妨げるアクションループに入る。 これらが環境条件に頻繁に違反していることが観察され、エージェントの内部状態の表現と基盤環境のダイナミックスとのミスマッチが明らかになった。 さらに、反復的な高信頼行動は、目標に向かってほとんど、あるいは全く進展しない循環的な行動を引き起こす。 これらの課題に対処するには、エージェントの環境力学理解を改善するために、より生産的なタスク整合探索が必要であると論じる。 本研究は,本質的な好奇心による探索を動機として,タスク完了と本質的な情報探索行動のバランスをとる条件付き状態空間探索フレームワークを提案する。 具体的には、観測が先行記憶に重複する動作をペナルティ化する本質的な報酬を導入する。 これにより、冗長な振る舞いを減らし、一般的な情報理論の尺度に頼ることなく、状態空間のカバレッジを促進することができる。 提案手法は, マルチターン環境における政策学習を大幅に改善し, 無効な行動と繰り返しループを緩和することを示す。

関連論文リスト

• SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents [49.54988737892722]
  自己進化型LDMエージェントは、ハーネスを変更することで、デプロイ後に改善する能力で有名になった。 SEABenchは、エージェントの自己進化から生じる内因性不整合を研究するためのベンチマークである。 自己進化はタスク完了率を高めるが、安全上の失敗の犠牲になることが多い。
  論文  参考訳（メタデータ） (2026-09-28T16:46:25Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• Variable-Agnostic Causal Exploration for Reinforcement Learning [56.52768265734155]
  強化学習のための新しいフレームワークVACERL(Variable-Agnostic Causal Exploration for Reinforcement Learning)を導入する。 本手法は,注目機構を用いて,重要変数に関連する重要な観測行動ステップを自動的に同定する。 これらのステップを接続する因果グラフを構築し、エージェントをタスク完了に対する因果的影響の大きい観察-作用ペアへと導く。
  論文  参考訳（メタデータ） (2024-07-17T09:45:27Z)
• Continuously evolving rewards in an open-ended environment [0.0]
  RULE: 学習と期待によるリワード更新は、単純化されたエコシステムのような環境でテストされます。 団体の人口は、当初は報われたが最終的に有害な行動の放棄をうまく証明した。 これらの調整は、継続的な学習において、外部の介入なしに、実体の根底にある報酬関数を内在的な修正によって行われる。
  論文  参考訳（メタデータ） (2024-05-02T13:07:56Z)
• Latent Exploration for Reinforcement Learning [87.42776741119653]
  強化学習では、エージェントは環境を探索し、相互作用することでポリシーを学ぶ。 LATent TIme-Correlated Exploration (Lattice)を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:40:43Z)
• Information is Power: Intrinsic Control via Information Capture [110.3143711650806]
  我々は,潜時状態空間モデルを用いて推定したエージェントの状態訪問のエントロピーを最小化する,コンパクトで汎用的な学習目的を論じる。 この目的は、不確実性の低減に対応する環境情報収集と、将来の世界状態の予測不可能性の低減に対応する環境制御の両方をエージェントに誘導する。
  論文  参考訳（メタデータ） (2021-12-07T18:50:42Z)
• Open-Ended Learning Leads to Generally Capable Agents [12.079718607356178]
  環境領域内のタスクの宇宙を定義し、この広大な空間をまたいだエージェントを訓練する能力を示す。 結果として生じる空間は、エージェントがもたらす課題に関して非常に多様であり、エージェントの学習の進捗を測定することさえも、オープンな研究課題である。 オープンエンド学習プロセスの構築により,エージェントが学習を止めないようなトレーニングタスク分布や訓練目標を動的に変化させることで,新しい行動の一貫性のある学習が可能になることを示す。
  論文  参考訳（メタデータ） (2021-07-27T13:30:07Z)
• Variational Dynamic for Self-Supervised Exploration in Deep Reinforcement Learning [12.76337275628074]
  本研究では,条件付き変分推論に基づく変動力学モデルを提案し,多モード性および生成性をモデル化する。 環境遷移の負の対数類似度の上界を導出し、その上界を探査の本質的な報酬として利用する。 提案手法は,最先端の環境モデルに基づく探索手法よりも優れている。
  論文  参考訳（メタデータ） (2020-10-17T09:54:51Z)
• RIDE: Rewarding Impact-Driven Exploration for Procedurally-Generated Environments [15.736899098702972]
  本稿では,エージェントが学習状態の表現に大きな変化をもたらす行動を起こすことを奨励する,新しいタイプの固有報酬を提案する。 提案手法は,MiniGridにおける複数の手続き的タスクに対して評価する。
  論文  参考訳（メタデータ） (2020-02-27T18:03:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。