論文の概要: Agentic Reinforcement Learning for Real-World Code Repair

• arxiv url: http://arxiv.org/abs/2510.22075v1
• Date: Fri, 24 Oct 2025 23:25:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:14.812097
• Title: Agentic Reinforcement Learning for Real-World Code Repair
• Title（参考訳）: 実世界のコード修復のためのエージェント強化学習
• Authors: Siyu Zhu, Anastasiya Karpovich, Albert Chen, Jessica Koscheka, Shailesh Jannu, Di Wen, Yuqing Zhu, Rohit Jain, Alborz Geramifard,
• Abstract要約: 実際のリポジトリで信頼性の高いコード修正エージェントをトレーニングするという課題に取り組みます。 修正後のビルド検証として成功した検証可能なパイプラインを開発しました。 大規模強化学習のためのスケーラブルな簡易パイプラインを導入した。
• 参考スコア（独自算出の注目度）: 7.512134741776294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We tackle the challenge of training reliable code-fixing agents in real repositories, where complex builds and shifting dependencies make evaluation unstable. We developed a verifiable pipeline with success defined as post-fix build validation and improved reproducibility across ~1K real issues by pinning dependencies and disabling automatic upgrades. Building on this, we introduced a scalable simplified pipeline for large-scale reinforcement learning (RL). Using this setup, we supervised fine-tuned Qwen3-32B in the full pipeline and applied RL on top of the SFT model in the simplified environment. The SFT model distilled from GPT-4.1 trajectories performs on par while being 56x smaller, and RL added 7-20% absolute gains under matched train-test conditions. "Thinking mode" was on par or worse in our experiments. Both SFT and RL models failed to generalize across environments, highlighting the importance of matching train-test environments for building reliable real-world code-fixing agents.
• Abstract（参考訳）: 複雑なビルドと依存関係のシフトによって評価が不安定になるような、信頼性の高いコード修正エージェントを現実のリポジトリでトレーニングするという課題に対処する。 修正後のビルドバリデーションと,依存関係のピン付けと自動アップグレードの無効化による1万件の実際の問題に対する再現性の改善が実現した,検証可能なパイプラインを開発しました。 これに基づいて,大規模強化学習(RL)のためのスケーラブルな簡易パイプラインを導入した。 この設定を用いて,完全パイプラインにおける微調整Qwen3-32Bを監督し,単純化された環境下でSFTモデル上にRLを適用した。 GPT-4.1軌道から蒸留したSFTモデルは56倍小さく、RLは整合試験条件下で7-20%の絶対ゲインを加えた。 シンキングモード」は我々の実験では同等かそれ以上であった。 SFTとRLの両方のモデルは、信頼性の高い実世界のコード修正エージェントを構築するために、列車テスト環境と一致することの重要性を強調して、環境全体の一般化に失敗した。

関連論文リスト

• Don't Just Fine-tune the Agent, Tune the Environment [25.7349297100143]
  合成データの微調整の監督は、過度な適合につながる。 標準的な強化学習は、重要なコールドスタート問題とトレーニング不安定性に苦慮している。 本研究は,静的軌道の教師付き微調整から動的環境探索へのパラダイムシフトを示す。
  論文  参考訳（メタデータ） (2025-10-11T12:35:15Z)
• Pentest-R1: Towards Autonomous Penetration Testing Reasoning Optimized via Two-Stage Reinforcement Learning [6.534445405422796]
  Pentest-R1は、侵入テストタスクの推論機能を最適化するために設計されたフレームワークである。 環境フィードバックから直接学習し、堅牢なエラー自己補正と適応戦略を開発する。 AutoPenBenchでは、Pentest-R1は24.2%の成功率に達し、ほとんどの最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2025-08-10T15:14:05Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)
• Enhancing Reinforcement Learning for the Floorplanning of Analog ICs with Beam Search [0.32985979395737786]
  本稿では,強化学習(RL)とビーム(BS)戦略を組み合わせたハイブリッド手法を提案する。 BSアルゴリズムはエージェントの推論プロセスを強化し、フレキシブルなフロアプランを生成する。 実験結果から, 標準RL法と比較すると, 面積, 死空間, 線長が約5～85%向上した。
  論文  参考訳（メタデータ） (2025-05-08T08:50:32Z)
• Unlock the Correlation between Supervised Fine-Tuning and Reinforcement Learning in Training Code Large Language Models [12.656574142412484]
  本研究では,教師付き微調整と強化学習の相関関係の解明を試みる。 SFTの一般化には原子関数と合成関数の両方が不可欠である。
  論文  参考訳（メタデータ） (2024-06-14T03:39:01Z)
• Single-Trajectory Distributionally Robust Reinforcement Learning [21.955807398493334]
  本研究では,分散ロバストRL (DRRL) を提案する。 既存のDRRLアルゴリズムはモデルベースか、1つのサンプル軌道から学習できないかのいずれかである。 単一軌道を用いた分散ロバストQ-ラーニング(DRQ)と呼ばれる,完全モデルフリーなDRRLアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-01-27T14:08:09Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。