論文の概要: OPRD: On-Policy Reminder Distillation for Long-Horizon Coding Agents
- arxiv url: http://arxiv.org/abs/2610.21496v2
- Date: Tue, 20 Oct 2026 19:46:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:05.95722
- Title: OPRD: On-Policy Reminder Distillation for Long-Horizon Coding Agents
- Title（参考訳）: OPRD:長軸符号化剤のオンポリシィリマインダー蒸留
- Abstract要約: On-Policy Reminder Distillationは、マルチスコープリマインダーの監督と、リマインダーのない学生のロールアウトにおける結果に基づくルーティングを組み合わせる。
SWE-bench Verified、SWE-bench Pro、SWE-bench Multilingualでは、オープンソースのQwen3.5-4Bベースモデルよりもベンチマーク平均タスク解決率を11.3ポイント改善している。
- 参考スコア（独自算出の注目度）: 20.339659085474057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliable repository-level coding requires agents not only to generate correct code but also to preserve constraints and respond to tool feedback across long interactions. However, our diagnostic analysis shows that agents often fail to act on relevant information already available in context, while final Pass/Fail outcomes provide only sparse process supervision. We introduce On-Policy Reminder Distillation (OPRD), which combines Multi-Scope Reminder supervision with outcome-based routing on reminder-free student rollouts. Successful rollouts provide autoregressive self-imitation targets, whereas failed rollouts receive Reminder-conditioned reverse-KL supervision from a teacher that re-evaluates the same student-generated prefixes. A Global Reminder converts final-test diagnostics into trajectory-level guidance, while Turn-local Reminders apply only to the next decision following the relevant environment observation. The teacher and student share a two-stage initialization from Coding SFT and Instruction-Following (IF) SFT. At inference, the student operates without Reminders. On SWE-bench Verified, SWE-bench Pro, and SWE-bench Multilingual, OPRD improves the benchmark-averaged task resolution rate by 11.3 points over the open-source Qwen3.5-4B base model. Under the same diagnostic protocol, it reduces the aggregate error-event count from 446 to 222, a 50.2% reduction.
- Abstract（参考訳）: 信頼性の高いリポジトリレベルのコーディングでは、エージェントが正しいコードを生成するだけでなく、制約を保ち、長いインタラクションを通じてツールフィードバックに応答する必要がある。
しかし、我々の診断分析では、エージェントが既に利用可能な関連情報に対して動作しない場合が多いが、最終的なPass/Failの結果はスパースプロセスの監視のみを提供する。
マルチスコープ・リマインダー・インスペクションと,リマインダーフリーの学生ロールアウトにおける結果に基づくルーティングを組み合わせたOPRD(On-Policy Reminder Distillation)を導入する。
成功したロールアウトは自己回帰的な自己イメージのターゲットを提供するが、失敗したロールアウトは、同じ学生生成プレフィックスを再評価する教師からReminder条件のリバースKLの監督を受ける。
グローバルリマインダーは最終テストの診断を軌道レベルのガイダンスに変換し、ターンローカルリマインダーは関連する環境観測の次の決定にのみ適用する。
教師と生徒は、Coding SFTとInstruction-Following (IF) SFTから2段階の初期化を共有する。
推論では、学生はリマインダーなしで活動する。
SWE-bench Verified、SWE-bench Pro、SWE-bench Multilingualでは、オープンソースのQwen3.5-4Bベースモデルよりもベンチマーク平均タスク解決率を11.3ポイント改善している。
同じ診断プロトコルの下では、総エラー件数が446から222に減少し、50.2%が減少する。
関連論文リスト
- Learning from Evolving Errors: Adaptive Iterative Repair for On-Policy Distillation [34.25144986131144]
オンラインの自己蒸留は、学生自身の方針からサンプリングされた軌跡に対する密集したトークンレベルのフィードバックを提供する。
本稿では, オンライン蒸留における適応的反復補修フレームワークであるAIR-OPDを紹介する。
DAPO-Math-17Kデータセット上でAIR-OPDをトレーニングし, AIME24, AIME25, HMMT25, MMLU-Pro, GPQAのアウト・オブ・ディストリビューションテストと並行して評価する。
論文 参考訳（メタデータ） (2026-10-02T02:34:57Z) - Shockingly Simple Self-retrospection Improves Agentic Models Without RL [56.88703385147974]
本研究は,説明のみの訓練がその後の行動に与える影響を分離するために,レトロスペクティブ・オンリー・ファインチューニングについて検討する。
Qwen3.5-4B を用いたソフトウェア工学実験では、ROFT は成功と失敗の混合したベースモデルの試行に関する問題で訓練されている。
また、64のサンプルベースモデル試みが失敗する個々のタスクの解決も学べる。
論文 参考訳（メタデータ） (2026-09-28T17:54:24Z) - PIVOT: Pivot-Aware On Policy Self Distillation for Multi-Turn VLM Agents [37.88404190729647]
RLVRを用いた強化学習のためのPivot-Aware internalized Visual On-Policy Training (PIVOT) を提案する。
PIVOTは、ピボットローカライゼーションと状態復元を直接トークンレベルのパラメータ更新に内部化し、RLトレーニング中の環境のロールバックを排除し、テスト時に追加のスキルヒントを提供する。
認知グリッドパズルにまたがる5つのマルチターンVLMエージェントタスク、制御とナビゲーションの3次元具体化、生成的推論について評価した。
論文 参考訳（メタデータ） (2026-09-28T14:43:28Z) - ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳（メタデータ） (2026-09-15T04:59:03Z) - A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。
A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
論文 参考訳（メタデータ） (2026-08-05T14:01:10Z) - TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。
ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。
純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
論文 参考訳（メタデータ） (2026-07-15T16:16:42Z) - Speculative Rollback Correction for Quality-Diverse Web Agent Imitation [43.603850569331975]
専門家の軌道から模倣学習を通じて対話型Webエージェントを訓練することは、非常に効果的なアプローチとして現れている。
リセット可能なエージェント環境のためのブランチレベルの模倣フレームワークであるSRC(Speculative Rollback Correction)を提案する。
論文 参考訳（メタデータ） (2026-06-10T08:56:27Z) - From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。
本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
論文 参考訳（メタデータ） (2026-05-21T04:54:55Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - Solving Offline Reinforcement Learning with Decision Tree Regression [0.0]
本研究は, オフライン強化学習問題に対して, 回帰タスクとして再検討することで, 新たなアプローチを提案する。
我々は、リターン条件付きとリターン重み付き決定ツリーポリシーの2つの異なるフレームワークを紹介します。
オフラインRLに対するこの改定されたアプローチに固有の単純化にもかかわらず、我々のエージェントは、少なくとも確立された手法と同等の性能を示す。
論文 参考訳（メタデータ） (2024-01-21T23:50:46Z) - Consistent-Teacher: Towards Reducing Inconsistent Pseudo-targets in
Semi-supervised Object Detection [28.40887130075552]
擬似ターゲットは正確な検出器の訓練を損なう。
生徒のトレーニングにノイズを注入し、過度な過度な問題を引き起こす。
不整合を低減するために,ConsistentTeacherと呼ばれる体系的ソリューションを提案する。
論文 参考訳（メタデータ） (2022-09-04T10:21:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。