論文の概要: Lean4AgenticRL: Advancing Agentic RL with Verifiable Multi-level Process Rewards

• arxiv url: http://arxiv.org/abs/2610.22448v1
• Date: Thu, 15 Oct 2026 15:26:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.598526
• Title: Lean4AgenticRL: Advancing Agentic RL with Verifiable Multi-level Process Rewards
• Title（参考訳）: Lean4AgenticRL: 検証可能なマルチレベルプロセスリワードによるエージェントRLの改善
• Abstract要約: 関連スポンサーコンテンツ * *Lean4AgenticRL*は、オープンなエージェントRLのための統一されたLean4形式化スキーマにおいて、マルチレベルのプロセス報酬を基盤とする最初のフレームワークです。 我々のモデルは、ターミナルベンチ-2.1における同様の大きさの先行モデルよりも優れています。
• 参考スコア（独自算出の注目度）: 10.84711412913353
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enhancing the agentic capabilities of Large Language Models (LLMs) to tackle complex software engineering (SWE) and general terminal-usage problems is a pressing challenge. Current state-of-the-art LLMs often go through large-scale agentic Reinforcement Learning (RL). However, they mostly rely on high-level outcome rewards, with minimal consideration of low-level toolcall and mid-level workflow-stage rewards, which makes the training less effective. To overcome this limitation, we propose **Lean4AgenticRL**, which, to the best of our knowledge, is the first framework that grounds multi-level process rewards in the unified Lean4 formalization schema for open-ended agentic RL. **Lean4AgenticRL** first builds a *problem-specific workflow* system that balances the agent's own capability and controllability during execution, laying the foundation for further verification. Subsequently, our workflow formalization and multi-level reward annotation methods enable agent behavior verification within a general harness system. It provides multi-level rewards to support more effective agentic RL with the workflow-stage-normalized GRPO algorithm. Using **Lean4AgenticRL**, we train **LAR-9B/27B**, a family of models with enhanced agentic capability. Extensive experiments indicate that our model outperforms the leading model of similar size. **LAR-27B** achieves **77.3%** on TerminalBench-2.1. On average, our models outperform the base model by **9.89%** and surpass the second-best model of comparable size we know by **5.07%**. These results indicate the potential of integrating formal methods in enhancing open-ended agentic RL.
• Abstract（参考訳）: 大きな言語モデル(LLM)のエージェント機能を強化して、複雑なソフトウェアエンジニアリング(SWE)と一般的な端末利用の問題に取り組むことは、非常に難しい課題です。 現在のLLMは、しばしば大規模エージェント強化学習(RL)を経る。 しかし、それらは主に、低レベルのツールコールと中レベルのワークフローステージ報酬を最小限に考慮しながら、高レベルの成果報酬に依存しているため、トレーニングの効率が低下する。 この制限を克服するために、私たちは***Lean4AgenticRL*を提案しています。 関連スポンサーコンテンツ * *Lean4AgenticRL* まず最初に、エージェントの能力と実行時の制御性のバランスをとる、*problem固有のワークフロー*システムを構築します。 その後、ワークフローの形式化とマルチレベル報酬アノテーション手法により、汎用ハーネスシステム内でのエージェント動作の検証が可能となる。 ワークフローステージ正規化GRPOアルゴリズムにより、より効果的なエージェントRLをサポートするために、マルチレベル報酬を提供する。 **LAR-9B/27B***Lan4AgenticRL*を使って、エージェント機能を強化したモデルのファミリーをトレーニングします。 大規模な実験により、我々のモデルは同様の大きさの先行モデルよりも優れていたことが示される。 **LAR-27B** は TerminalBench-2.1 上で **77.3%* を達成する。 平均して、我々のモデルは**9.89%*でベースモデルより優れ、**5.07%*で知っている同等の大きさの2番目に良いモデルよりも優れています。 これらの結果は, オープンエンドエージェントRLの増強における形式的手法の統合の可能性を示している。

関連論文リスト

• Learning Generalizable Behaviors for Terminal Agents [72.62493560701414]
  低品質環境をフィルタし、プロセスレベルの行動規則化による結果報酬を増大させることにより、報酬品質を向上させるための簡単なトレーニングレシピを提案する。 このレシピを用いて、4つの端末エージェントベンチマークで評価されたオープンソースのRL学習8Bモデルのうち、RL学習エージェントは最高の性能を考慮に入れた。
  論文  参考訳（メタデータ） (2026-08-23T22:34:40Z)
• Lean4Agent: Formal Modeling and Verification for Agent Workflow and Trajectory [17.95201244576703]
  信頼性の高いマルチステップを実行するためのLLM(Large Language Models)の取得は、人工知能における中心的な課題となっている。 この課題は、自然言語の曖昧さ(NL)が形式言語(FL)の発展を動機付けている数学における長年の問題を反映している。 エージェントの振る舞いをモデル化し検証するための依存型FLであるLean4を使用した最初のフレームワークである**Lean4Agent*を提案する。
  論文  参考訳（メタデータ） (2026-06-02T18:46:50Z)
• Dr. MAS: Stable Reinforcement Learning for Multi-Agent LLM Systems [20.971694319263353]
  マルチエージェントLLMシステムのためのシンプルで安定したRLトレーニングレシピであるDr. MASを提案する。 MAS博士はエージェントワイド療法を使用し、各エージェントの報酬統計を用いてエージェントごとの利益を正規化する。 MASはマルチエージェントLLMシステムのためのエンドツーエンドのRLトレーニングフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-02-09T16:13:39Z)
• AgentCPM-Explore: Realizing Long-Horizon Deep Exploration for Edge-Scale Agents [75.67445299298949]
  AgentCPM-Exploreは、知識密度と強力な探索能力を備えたコンパクトな4Bエージェントモデルである。 本稿では,パラメータ空間モデルの融合,報酬信号の復調,文脈情報の改良を特徴とする総合的なトレーニングフレームワークを提案する。 AgentCPM-Exploreは4つのベンチマークで8BクラスのSOTAモデルにマッチまたは超え、また5つのベンチマークでClaude-4.5-SonnetやDeepSeek-v3.2のような大規模モデルよりも優れている。
  論文  参考訳（メタデータ） (2026-02-06T08:24:59Z)
• Demystifying Reinforcement Learning in Agentic Reasoning [90.3737088727791]
  エージェント推論における強化学習のデミスティフィケーションのための包括的かつ体系的な調査を行う。 i) 縫合された合成軌道を、実際のエンドツーエンドのツール・ツー・ユース・トラジェクトリに置き換えることで、より強力なSFTが得られる。 探索フレンドリーな技術は、高いクリップ、過剰な報酬形成、適切なポリシーエントロピーの維持といったエージェントRLにとって不可欠であり、訓練効率を向上させることができる。
  論文  参考訳（メタデータ） (2025-10-13T17:57:15Z)
• Reinforcement Learning for Machine Learning Engineering Agents [52.03168614623642]
  強化学習によって改善される弱いモデルによって支援されるエージェントは、はるかに大きいが静的モデルによって支援されるエージェントよりも優れていることを示す。 分散非同期RLフレームワークにおいて,高コストかつ高利回りな動作を増幅するための時間依存性の勾配更新を提案する。 また,早期に失敗するプログラムとほぼ正しくないプログラムを区別し,部分クレジットを提供する環境機器を提案する。
  論文  参考訳（メタデータ） (2025-09-01T18:04:10Z)
• Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Models [56.00992369295851]
  オープンソースのLarge Language Models(LLM)は、さまざまなNLPタスクで大きな成功を収めていますが、エージェントとして振る舞う場合、それでもAPIベースのモデルよりもはるかに劣っています。 本稿では,(1) エージェント学習コーパスを,(1) エージェント学習データの分布から大きくシフトするエージェント推論と,(2) エージェントタスクが必要とする能力に異なる学習速度を示すエージェント学習コーパスと,(3) 幻覚を導入することでエージェント能力を改善する際の副作用について述べる。 本稿では,エージェントのためのFLANモデルを効果的に構築するためのエージェントFLANを提案する。
  論文  参考訳（メタデータ） (2024-03-19T16:26:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。