論文の概要: One to More, More to One: Category-Aware Iterative Expert Training for Software Engineering Agents

• arxiv url: http://arxiv.org/abs/2609.23377v1
• Date: Sun, 20 Sep 2026 05:58:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.807181
• Title: One to More, More to One: Category-Aware Iterative Expert Training for Software Engineering Agents
• Title（参考訳）: ひとつはもっと - ソフトウェアエンジニアリングエージェントのためのカテゴリー対応の反復的エキスパートトレーニング
• Abstract要約: リポジトリレベルのソフトウェアエンジニアリングは異種タスクカテゴリから構成される。 我々は、専門知識の育成と政策統合の枠組みを開発する。 我々はPooled RL, Balanced RL, エキスパート開発, 集約およびカテゴリごとの解決による単一モデル統合を評価した。
• 参考スコア（独自算出の注目度）: 10.553260659841337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Repository-level software engineering (SWE) comprises heterogeneous task categories, whose progress under pooled agentic reinforcement learning can be uneven: gains in some categories coincide with regressions in others, while aggregate resolution obscures these changes. Motivated by this category see-saw, we develop a category-aware expert-training and policy-integration framework. Executable task construction and SWE Labeler, an evidence-grounded multi-axis labeling system, organize the training pools. Initial category-specific RL improves average training success while leaving uneven instance-level progress, motivating explicit consolidation of successful behavior and policy-adaptive task selection. Same-origin category experts alternate long-horizon Agentic-miniRL with Refresh-Repair-Expand (RRE): the updated policy refreshes instance mastery, reuses its own verified successful trajectories for Repair SFT, and reselects tasks for further RL. Label-routed multi-teacher on-policy distillation (MOPD) consolidates the experts into one deployable student, with ReLU-gated reward extrapolation keeping only each teacher's improving direction over the reference. Expert training and policy integration require no external model to provide solution trajectories or action targets. We evaluate Pooled RL and Balanced RL, expert development, and single-model integration through aggregate and per-category resolution, the minimum category lift over each joint-RL baseline, and expert-gain recovery. The final MOPD policy achieves mean resolution of 58.04% on Pro-618 and 59.00% on SWE-bench Multilingual, improving over the base model by 5.39 and 2.78 percentage points, respectively.
• Abstract（参考訳）: リポジトリレベルのソフトウェアエンジニアリング(SWE)は異種タスクカテゴリで構成されており、プール化されたエージェント強化学習の進歩は不均一である可能性がある。 このカテゴリのシーソーに動機づけられた我々は、専門知識の育成と政策統合のフレームワークを開発する。 実行可能なタスク構築とエビデンスグラウンドのマルチ軸ラベリングシステムであるSWE Labelerは、トレーニングプールを編成する。 初期カテゴリ固有のRLは、不均一なインスタンスレベルの進歩を残しながら平均的なトレーニング成功を改善し、成功行動とポリシー適応タスクの選択を明確に統合する動機となっている。 Refresh-Repair-Expand (RRE): 更新されたポリシーはインスタンスのマスターをリフレッシュし、SFT修復のために成功した軌道を再利用し、さらにRLのためにタスクを再選択する。 ラベル付き多目的多目的蒸留(MOPD)は、専門家を1人のデプロイ可能な学生に集約し、ReLU-gated reward expolationは、各教師の参照に対する改善方向のみを保持する。 専門家のトレーニングとポリシーの統合は、ソリューションの軌跡やアクションターゲットを提供するための外部モデルを必要としない。 我々は,Pooled RL, Balanced RL, エキスパート開発, 集約およびカテゴリごとの解決による単一モデル統合, 各ジョイント-RLベースラインに対する最小カテゴリリフト, エキスパート-ゲインリカバリを評価した。 最終的なMOPDポリシーは、Pro-618では58.04%、SWE-bench Multilingualでは59.00%の平均分解能を達成し、ベースモデルの5.39ポイントと2.78ポイントをそれぞれ改善した。

関連論文リスト

• EvoTrainer: Co-Evolving LLM Policies and Training Harnesses for Autonomous Agentic Reinforcement Learning [77.47708145025832]
  EvoTrainerは、ポリシーとトレーニングサイドハーネスを共同開発した、自律的なトレーニングフレームワークである。 ロールアウトレベルの証拠を診断し、診断を見直し、介入をバックテストし、再利用可能なスキルを蓄積する。
  論文  参考訳（メタデータ） (2026-06-02T03:47:48Z)
• RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
  RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。 実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
  論文  参考訳（メタデータ） (2026-03-09T16:23:33Z)
• MMR-GRPO: Accelerating GRPO-Style Training through Diversity-Aware Reward Reweighting [18.222130019294852]
  本稿では,MMR-GRPOを提案する。 MMR-GRPOは、平均47.9%のトレーニングステップと70.2%のウォールクロック時間を必要とする一方で、同等のピークパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-01-14T02:35:19Z)
• Stronger Together: On-Policy Reinforcement Learning for Collaborative LLMs [20.084201133669534]
  マルチエージェントシステム(MAS)と強化学習(RL)は,大規模言語モデル(LLM)のエージェント能力を高めるために広く利用されている。 政治上のRLをMASに適用することはまだ未熟であり、ユニークな課題を提示している。 我々は,エージェントとターンワイドなグループ化RLアルゴリズムをMASに適合させるAT-GRPOと,単一・複数政治体制をサポートするトレーニングシステムを提案する。
  論文  参考訳（メタデータ） (2025-10-13T06:55:09Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。