論文の概要: Groupwise Agentic Grading and Advantage Redistribution for Code Agent RL

• arxiv url: http://arxiv.org/abs/2609.32577v1
• Date: Sat, 26 Sep 2026 12:50:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 06:01:08.00161
• Title: Groupwise Agentic Grading and Advantage Redistribution for Code Agent RL
• Title（参考訳）: コードエージェントRLの集団的エージェントグレーディングとアドバンテージ再分配
• Abstract要約: 本稿では,コードエージェントRLにおける品質認識型クレジット再配布フレームワークであるGAGARを紹介する。 GAGARは、各グループのすべての軌跡を共有ワークスペースに配置し、そこでSFT訓練されたエージェントグレーダが共同でそれらを検査し、テストパス候補をランク付けする。 このランキングに基づいて、我々は下級下級軌跡を減らし、全てのテストパス軌跡の利点を比例的に再スケールし、元の総和を復元する。
• 参考スコア（独自算出の注目度）: 24.32411766339575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) for code agents often uses executable tests to provide binary rewards. With these rewards, Group Relative Policy Optimization (GRPO) assigns identical advantages to test-passing trajectories within each rollout group, overlooking differences in implementation quality and adherence to task requirements. This leaves the policy without a learning signal that favors clean, targeted implementations over those containing unnecessary or out-of-scope changes. We introduce GAGAR, a framework for quality-aware credit redistribution in code agent RL. Built on dynamic sampling that retains groups containing both passing and failing trajectories, GAGAR places all trajectories from each group in a shared workspace, where an SFT-trained agentic grader jointly inspects them and ranks the test-passing candidates. Based on this ranking, we downweight lower-ranked trajectories and proportionally rescale the advantages of all test-passing trajectories to restore their original sum. This sum-preserving redistribution retains the relative weights established by quality-based downweighting while shifting credit toward higher-quality implementations. We evaluate GAGAR at industrial scale using pre-RL SFT checkpoints of MiMo-V2.6-Flash (310B total parameters) and MiMo-V2.6-Pro (1.02T total parameters). Controlled code-only Flash experiments show improved code agent performance, reduced trajectory-length growth, and more stable training. We further apply GAGAR in large-scale mixed-task RL with both Flash and Pro. Our results support combining test-based verification with groupwise agentic grading to improve the quality and stability of code agent RL.
• Abstract（参考訳）: コードエージェントのための強化学習(RL)は、しばしばバイナリ報酬を提供するために実行可能なテストを使用する。 これらの報酬により、グループ相対ポリシー最適化(GRPO)は、各ロールアウトグループ内のテストパストラジェクトリに対して、実装品質とタスク要求の遵守性の違いを見越して、同じ利点を割り当てます。 これにより、不要またはスコープ外の変更を含むものよりも、クリーンでターゲットとした実装を好む学習シグナルがなくなる。 本稿では,コードエージェントRLにおける品質認識型クレジット再配布フレームワークであるGAGARを紹介する。 GAGARは、通過軌跡と失敗軌跡の両方を含むグループを保持する動的サンプリングに基づいて構築され、各グループからのすべての軌跡を共有ワークスペースに配置する。 このランキングに基づいて、我々は下級下級軌跡を減らし、全てのテストパス軌跡の利点を比例的に再スケールし、元の総和を復元する。 この総和保存再分配は、品質ベースの下降によって確立された相対的な重みを保ちながら、クレジットを高品質な実装へとシフトさせる。 産業規模でのGAGARの評価には,MiMo-V2.6-Flash(310Bトータルパラメータ)とMiMo-V2.6-Pro(1.02Tトータルパラメータ)の事前RL SFTチェックポイントを用いる。 制御されたコードのみのFlash実験では、コードエージェントのパフォーマンスが向上し、軌道長が短縮され、トレーニングが安定している。 また, GAGAR を Flash と Pro を併用した大規模混合タスク RL に適用する。 本研究は,テストベース検証とグループワイドエージェントグレーディングを組み合わせることで,コードエージェントRLの品質と安定性を向上させることを支援する。

関連論文リスト

• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking [84.07076200941474]
  ArenaRLは、ポイントワイドスカラースコアからグループ内相対ランクにシフトする強化学習パラダイムである。 我々は,グループ内対角アリーナを構築し,安定した有利な信号を得るためのトーナメントベースのランキングスキームを考案する。 実験により、ArenaRLは標準のRLベースラインを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-01-10T08:43:07Z)
• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• On the Linear Speedup of Personalized Federated Reinforcement Learning with Shared Representations [15.549340968605234]
  フェデレート強化学習(FedRL)は、エージェントと環境相互作用の間に収集された局所的な軌跡を共有することなく、複数のエージェントが協調的にポリシーを学ぶことを可能にする。 異種環境におけるエージェント間の共通構造を生かし, 共生型FedRLフレームワーク(PFedRL)を導入する。
  論文  参考訳（メタデータ） (2024-11-22T15:42:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。