論文の概要: LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents

• arxiv url: http://arxiv.org/abs/2608.17393v1
• Date: Tue, 18 Aug 2026 05:34:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.225848
• Title: LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents
• Title（参考訳）: LEGO-RL:コーディングエージェントのハーネス-負強化学習
• Abstract要約: LEGO-RLは、ネイティブコーディングエージェントハーネスをスケーラブルなポリシ-グラディエント最適化でブリッジするフレームワークです。 我々は、3つのネイティブコーディングエージェントハーネスにまたがるGSPOを用いて、疎いMoEモデルQwen3.5-35B-A3BをトレーニングすることでLEGO-RLを評価する。
• 参考スコア（独自算出の注目度）: 56.902747731541695
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Reinforcement learning for coding agents increasingly relies on long-running agent harnesses to manage tool integration, repository contexts, and execution feedback. However, the native execution environments of these harnesses are inherently misaligned with policy-gradient training: environmental crashes and reward hacking corrupt outcome signals, while train-inference discrepancies decouple rollout behavior from policy updates. To address this, we present LEGO-RL, a framework that bridges native coding-agent harnesses with scalable policy-gradient optimization without modifying their internal control flow. LEGO-RL is built upon three pillars: (1) faithful optimization via in-process LLM proxying that captures raw generation streams for token-level alignment and robust trainer-side log-probability recomputation, even under harness-side compaction or re-serialization; (2) reliable execution via scalable sandbox orchestration featuring image caching and stage-wise defenses to mitigate reward hacking; and (3) observable training through an integrated plugin that automates validation and monitoring, paired with a Live UI for granular trajectory diagnostics. We evaluate LEGO-RL by training the sparse MoE model Qwen3.5-35B-A3B with GSPO across three native coding-agent harnesses. LEGO-RL improves Qwen3.5-35B-A3B across OpenHands SDK (64.0% to 70.4%), Claude Code (62.4% to 68.2%), and OpenCode (57.2% to 66.6%) on SWE-bench Verified, while maintaining a rollout-training probability correlation above 0.99.
• Abstract（参考訳）: コーディングエージェントの強化学習は、ツール統合、リポジトリコンテキスト、実行フィードバックを管理するための長期実行エージェントハーネスにますます依存している。 しかしながら、これらのハーネスのネイティブ実行環境は、本質的には、ポリシー段階のトレーニングと不一致である。 これを解決するために、LEGO-RLは、ネイティブコーディングエージェントを内部制御フローを変更することなく、スケーラブルなポリシー段階の最適化でブリッジするフレームワークである。 LEGO-RLは,(1)トークンレベルのアライメントとロバストなトレーナー側のログプロビタビリティ再計算を行うための,プロセス内LLMプロキシによる忠実な最適化,(2)イメージキャッシングとステージワイドディフェンスを備えたスケーラブルなサンドボックスオーケストレーションによる信頼性の高い実行,(3)検証と監視を自動化する統合プラグインによる可観測性トレーニング,など,3つの柱上に構築されている。 我々は、3つのネイティブコーディングエージェントハーネスにまたがるGSPOを用いて、疎度MoEモデルQwen3.5-35B-A3BをトレーニングすることでLEGO-RLを評価する。 LEGO-RLは、OpenHands SDK(64.0%から70.4%)、Claude Code(62.4%から68.2%)、OpenCode(57.2%から66.6%)でQwen3.5-35B-A3Bを改善した。

関連論文リスト

• Agent Lightning v1.0: Towards Harnessed Agentic RL [28.087691629023038]
  本稿では,エージェントRLを利用する軽量フレームワークであるAgens Lightning v1.0を紹介する。 任意のエージェントハーネスをサポートし、これらの課題を研究するための実践的なテストベッドとして機能する。 我々は、命令追従、探索、符号化エージェントについて評価し、符号化エージェントRLのための完全な再現可能なパイプラインを提供する。
  論文  参考訳（メタデータ） (2026-08-18T08:50:13Z)
• Efficient Agentic Reinforcement Learning with On-Policy Intrinsic Knowledge Boundary Enhancement [16.192937389387982]
  モデル固有の知識境界を動的に探索するオンライン手法であるAKBE(Agentic Knowledge boundary Enhancement)を提案する。 7つのQAベンチマークの実験では、AKBEはタスクの精度を平均で+1.85改善し、標準のエージェントRLよりも18%向上した。
  論文  参考訳（メタデータ） (2026-05-26T12:42:23Z)
• ChipMATE: Multi-Agent Training via Reinforcement Learning for Enhanced RTL Generation [55.947962672433675]
  ChipMATEは、RTL生成のための最初の自己学習型マルチエージェントフレームワークである。 ChipMATEは産業的な実践に触発され、VerilogエージェントとPythonのリファレンスモデルエージェントをペアにし、相互に出力を検証する。 ChipMATEは、VerilogEval V2で75.0%と80.1%パス@1を4Bと9Bベースモデルで達成している。
  論文  参考訳（メタデータ） (2026-05-13T01:04:21Z)
• Agent^2 RL-Bench: Can LLM Agents Engineer Agentic RL Post-Training? [23.212983812736343]
  Agent2 RL-BenchはエージェントRLのポストトレーニングを評価するためのベンチマークである。 固定予算下では,教師付きパイプラインがエージェント駆動のポストトレーニングを支配していることがわかった。
  論文  参考訳（メタデータ） (2026-04-12T09:35:27Z)
• RLVE: Scaling Up Reinforcement Learning for Language Models with Adaptive Verifiable Environments [111.87296453908199]
  適応検証環境(RLVE)を用いた強化学習の導入 RLVEは、各検証可能な環境が、トレーニングが進むにつれて、問題の難易度分布をポリシーモデルの能力に動的に適応させることを可能にする。 環境スケーリング,すなわち,トレーニング環境の収集を拡大することで,推論能力が継続的に向上することを示す。
  論文  参考訳（メタデータ） (2025-11-10T17:18:35Z)
• Efficient Multi-turn RL for GUI Agents via Decoupled Training and Adaptive Data Curation [65.3648667980258]
  視覚言語モデル(VLM)に基づくGUIエージェントは複雑なタスクの自動化を約束するが、強化学習(RL)の適用において大きな課題に直面している。 異種モジュールを高度に非結合的に協調するGUIエージェントのための非結合エージェントRLトレーニングフレームワークであるDARTを提案する。 OSWorldのベンチマークでは、DART-GUI-7Bは42.13%のタスク成功率、14.61%の絶対ゲイン、オープンソースSOTAよりも7.34%高い。
  論文  参考訳（メタデータ） (2025-09-28T13:19:20Z)
• rStar2-Agent: Agentic Reasoning Technical Report [25.266747156205266]
  rStar2-Agentは、エージェント強化学習を用いて訓練された14Bの数学推論モデルであり、フロンティアレベルの性能を実現する。 この目的のために、rStar2-Agentはトレーニング済みの14Bモデルを1週間以内に510RLのステップで最先端に引き上げ、平均パス@1スコアはAIME24で80.6%、AIME25で69.8%となる。
  論文  参考訳（メタデータ） (2025-08-28T12:45:25Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning [61.10299147201369]
  本稿では,Wild デバイス制御エージェントをトレーニングするための新しい自律型 RL 手法である DigiRL を提案する。 VLMベースの評価器を備えた,スケーラブルで並列化可能なAndroid学習環境を構築する。 我々はAndroid-in-the-Wildデータセットを使用してDigiRLの有効性を実証し、RLでトレーニングした1.3B VLMは49.5%の絶対改善を実現した。
  論文  参考訳（メタデータ） (2024-06-14T17:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。