論文の概要: RIPPLE: Recovery Internalization through Process-Level Policy Learning and Effect-Aware Credit for Long-Horizon Agentic Coding
- arxiv url: http://arxiv.org/abs/2610.31276v1
- Date: Thu, 22 Oct 2026 13:45:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.390872
- Title: RIPPLE: Recovery Internalization through Process-Level Policy Learning and Effect-Aware Credit for Long-Horizon Agentic Coding
- Title（参考訳）: RIPPLE: プロセスレベルポリシー学習によるリカバリ内部化と長軸エージェント符号化におけるエフェクトアウェアクレジット
- Abstract要約: ロングホライゾン符号化エージェントは、障害を観測し、妥当な批評を生成するが、同じ誤った軌道に沿って継続することができる。
プロセスレベルのガイダンスを単一の自己回復ポリシに内包するリカバリ指向のトレーニングフレームワークであるRIPPLEを紹介する。
- 参考スコア（独自算出の注目度）: 20.925602840605826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon coding agents can observe a failure and generate a plausible critique yet continue along the same incorrect trajectory. We call this the Critique-to-Action Handoff Gap. We introduce RIPPLE, a recovery-oriented training framework that internalizes process-level guidance into a single self-recovering policy. A prefix-only teacher provides evidence-grounded recovery supervision without access to future actions or terminal outcomes. After lightweight distillation, reinforcement learning assigns stage-specific credit to reflection triggering, diagnosis, and corrective action. Local validity signals gate trajectory advantages so that intermediate recovery decisions do not indiscriminately inherit terminal outcomes. Across four repository-level software-engineering benchmarks, RIPPLE improves the base policy by an arithmetic mean of 4.8 score points, with no auxiliary critic at deployment. Controlled ablations isolate the benefits of local, stage-aligned credit, and matched-prefix interventions show that critique semantics affect subsequent correction. Recovery gains concentrate where the prefix contains sufficient diagnostic evidence and the repository state remains reversible within the remaining budget.
- Abstract（参考訳）: ロングホライゾン符号化エージェントは、障害を観測し、妥当な批評を生成するが、同じ誤った軌道に沿って継続することができる。
これをCritique-to-Action Handoff Gapと呼ぶ。
プロセスレベルのガイダンスを単一の自己回復ポリシに内包するリカバリ指向のトレーニングフレームワークであるRIPPLEを紹介する。
プレフィックスのみの教師は、将来の行動や終末結果にアクセスすることなく、エビデンスに基づく回復管理を提供する。
軽度蒸留の後、強化学習はステージ固有の信用をリフレクショントリガー、診断、修正行動に割り当てる。
局所的妥当性信号ゲート軌道の利点は、中間回復決定が終末結果を無差別に受け継がないようにする。
4つのリポジトリレベルのソフトウェアエンジニアリングベンチマークで、RIPPLEは4.8ポイントの算術平均で基本ポリシーを改善し、デプロイ時に補助的な批評家はいない。
制御されたアブレーションは、局所的、段階的に整列されたクレジットの利点を分離し、一致した事前修正の介入は、批判的意味論がその後の修正に影響を及ぼすことを示す。
回復利得は、プレフィックスが十分な診断証拠を含み、残りの予算内でリポジトリ状態が可逆なままに集中する。
関連論文リスト
- From Outcomes to Steps: Reliable Success-Aware Critic Learning for Long-Horizon Language Agents [55.652737162928]
ロングホライズン言語エージェントの強化学習では、中間動作が最終的なタスク成功の可能性が高いか低いかを特定する必要がある。
SCALE(アクター・クリティカル・フレームワーク)は,従来のリターン推定を,最終的なタスク成功の明示的な予測で強化する。
論文 参考訳（メタデータ） (2026-10-20T04:40:33Z) - From Trace to Fix: Residual Task State in Long-Horizon Agents [48.005521427284584]
TRACE-FIXは、バージョン管理された残タスク状態を中心とした統合リカバリフレームワークである。
我々はLongH-Debugを提案し、ルート原因の属性、検証されたフォールトリカバリ、エンドツーエンドのクローズドループ実行を独立して評価した。
論文 参考訳（メタデータ） (2026-10-19T04:41:38Z) - Prospective Hindsight: Self-Calibrating Reinforcement Learning via Prediction-Reality Gaps [36.16230485322107]
ロングホライゾンエージェントの強化学習は、純粋な振り返りトレーニング信号に依存している。
本稿では,自己校正学習の原則であるProspective Hindsight(PH)を紹介する。
PHはタスク性能とキャリブレーションの両方を改善し、モデルスケール間で一貫した利得を示す。
論文 参考訳（メタデータ） (2026-10-02T03:12:00Z) - Credit-Guided Policy Improvement for Test-time Adaptive Vision-Language Navigation [53.30116823667751]
視覚言語ナビゲーションのためのテスト時適応(TTA-VLN)により、事前訓練されたポリシーは、目に見えない環境にオンラインで適応できる。
分散シフトは、局所的な行動選好を歪め、オフコース決定につながる可能性がある。
我々は,行動誘発観察遷移から署名付き参照関連決定クレジットを回収する信用誘導政策改善(CGPI)を提案する。
論文 参考訳（メタデータ） (2026-09-29T13:46:11Z) - Diagnosis Before Recovery: Turning Agent Failures into Selective Self-Correction [22.654396704495934]
開発セット障害は、どのリカバリ介入が許容可能かを決定することにより、欠落診断基板の一部を回復することができる。
DARCは、タスクファミリー障害モードをプロファイリングし、共有リカバリライブラリから不正な介入を発生させ、検証者選択によるデプロイメント成功コストポリシーを凍結する、診断誘導型リカバリハーネスである。
論文 参考訳（メタデータ） (2026-08-12T08:14:45Z) - Measure, Don't Optimize: Forecasting Recovery in LLM Unlearning [57.920153607557744]
J-Accessは、モデル出力経路に沿ってターゲット概念がアクセス可能な頻度を測定する推論時監査である。
我々は8つの未学習手法にまたがる398の公開未学習モデルを監査する。
論文 参考訳（メタデータ） (2026-08-11T20:16:20Z) - Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes [70.64622557376505]
リフレクティブリカバリは、推論中のミスを認識し、修正するようにモデルに教える。
AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。
論文 参考訳（メタデータ） (2026-07-24T02:51:42Z) - Phase-Aware Guidance Injection for Recurrent MAPPO in Assembly-Line Disruption Recovery [22.4593030412974]
産業用組立ラインの破壊的復旧には、機械故障、労働者の不在、緊急命令によるタイムリーな決定が必要である。
本稿では、訓練された反復MAPPO(RMAPPO)スケジューリングポリシーを強化する位相認識型ガイダンスインジェクションフレームワークを提案する。
このフレームワークはルールベース、リプレイベース、オンラインLLMベースのガイダンスのための統合された意思決定時インターフェースを提供する。
論文 参考訳（メタデータ） (2026-06-15T07:33:18Z) - Speculative Rollback Correction for Quality-Diverse Web Agent Imitation [43.603850569331975]
専門家の軌道から模倣学習を通じて対話型Webエージェントを訓練することは、非常に効果的なアプローチとして現れている。
リセット可能なエージェント環境のためのブランチレベルの模倣フレームワークであるSRC(Speculative Rollback Correction)を提案する。
論文 参考訳（メタデータ） (2026-06-10T08:56:27Z) - HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。
HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文 参考訳（メタデータ） (2026-06-10T01:35:34Z) - Hindsight-DICE: Stable Credit Assignment for Deep Reinforcement Learning [11.084321518414226]
我々は,既存の重要度・重要度比推定手法をオフ政治評価に適用し,いわゆる後見政策手法の安定性と効率を大幅に向上させる。
我々の後視分布補正は、信用代入がベースライン手法を悩ませている広範囲の環境において、安定的で効率的な学習を容易にする。
論文 参考訳（メタデータ） (2023-07-21T20:54:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。