論文の概要: MiRL: Error-Targeted Reinforcement Learning for Correcting Terminal Agent Misbehaviors

• arxiv url: http://arxiv.org/abs/2610.35697v1
• Date: Mon, 26 Oct 2026 16:25:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.104721
• Title: MiRL: Error-Targeted Reinforcement Learning for Correcting Terminal Agent Misbehaviors
• Title（参考訳）: MiRL: 端末エージェントの誤り訂正のための誤り目標強化学習
• Abstract要約: 命令シェルと対話することで、自然言語で特定される長期タスクを解決する端末エージェントにエラー対象学習を適用する方法について検討する。 本研究では、まず、一般化可能な誤動作を見つけるためのポリシーの誤りをプロファイルするMisbehavior-driven RL(MiRL)を提案する。 その後、MiRLはRLでポリシーをトレーニングし、これらの不正行為が発生するステップでロールアウトを開始し、テストに合格して不正行為を避ける場合にのみロールアウトを報奨する。
• 参考スコア（独自算出の注目度）: 56.21718763415641
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Error-targeted learning gives a legible way to improve a model: identify specific weaknesses of the model, train the model to fix these weaknesses, and check whether the weaknesses are fixed. We study how to apply error-targeted learning to terminal agents, which solve long-horizon tasks specified in natural language by interacting with a command shell. Existing error-targeted methods are designed for single-turn tasks, and existing analyses of agent failures are used to evaluate and debug agents rather than to train them. We propose Misbehavior-driven RL (MiRL), which first profiles the errors of a policy to find generalizable misbehaviors: kinds of wrong steps that recur across many environments. MiRL then trains the policy with RL, starting rollouts at the steps where these misbehaviors occur and rewarding a rollout only if it passes the tests and avoids the misbehavior. On Qwen3.5-4B, eight misbehaviors account for 52.1% of wrong steps. After training with MiRL, the policy repeats the measured misbehaviors 43% to 57% less often on average on unseen prefixes. MiRL outperforms TMax-4B on Terminal-Bench Lite (51.8% vs. 47.4%) and matches it on Terminal-Bench 2.1 (21.3% vs. 20.6%), while using 35% of its rollouts. These results show that error-targeted learning can be applied to realistic, long-horizon terminal tasks.
• Abstract（参考訳）: モデルの特定の弱点を特定し、これらの弱点を修正するためにモデルをトレーニングし、弱点が修正されているかどうかをチェックする。 命令シェルと対話することで、自然言語で特定される長期タスクを解決する端末エージェントにエラー対象学習を適用する方法について検討する。 既存のエラー対象メソッドは単一ターンタスク用に設計されており、エージェント障害の解析はエージェントを訓練するよりも、エージェントの評価とデバッグに使用される。 提案手法は,多くの環境にまたがって再帰する,一般化可能な誤動作を見つけるためのポリシーの誤りを最初にプロファイリングするMisbehavior-driven RL (MiRL)を提案する。 その後、MiRLはRLでポリシーをトレーニングし、これらの不正行為が発生するステップでロールアウトを開始し、テストに合格して不正行為を避ける場合にのみロールアウトを報奨する。 Qwen3.5-4Bでは、8つの不正行動が52.1%の間違ったステップを担っている。 MiRLでトレーニングした後、このポリシーは測定された誤動作を平均43%から57%の頻度で、目に見えない接頭辞で繰り返す。 MiRLはターミナル・ベンチ・ライト(51.8%対47.4%)でTMax-4Bを上回り、ターミナル・ベンチ2.1(21.3%対20.6%)でマッチする。 これらの結果から,現実的,長期的端末タスクに誤り対象学習を適用することが可能であることが示唆された。

関連論文リスト

• AdaPRA: Process Reward Agents with Adaptive Rubrics for Data Science [61.06192512211444]
  データサイエンスエージェントはエンドツーエンドの機械学習を自動化することができるが、人間のリーダーボードとの競争には程遠い。 我々はこれらの問題に対処するためにAdaPRAを提案する: 同一タスクの試行にまたがって知識を蓄積する永続的符号化エージェントと、エラーを特定し修正するルーリック誘導プロセス監視。 AdaPRAはタスク毎の5つの試行により、80B QwenモデルのパーセンタイルをDSPredict-Easyで24.5ポイント、DS-Hardで14.8ポイント改善し、プロセスエラーを減らす。
  論文  参考訳（メタデータ） (2026-10-23T19:46:55Z)
• CUA-Recovery: Benchmarking Error Recovery in Long-Horizon Computer-Use Agents [26.827955737935113]
  コンピュータ利用エージェント(CUA)が長い水平地平線に移動すると、検出されていないエラーは静かに永続状態を破損し、その後の動作でカスケード障害を引き起こす。 既存のベンチマークは主にエンドツーエンドのタスクパフォーマンスに重点を置いており、エージェントが実行中にエラーを検出してリカバリできるかどうかについて限定的な洞察を提供する。 CUA-Recoveryは、複数のデスクトップアプリケーションにまたがるテストスイートとトレーニングスイートを組み合わせたベンチマークである。
  論文  参考訳（メタデータ） (2026-10-20T05:06:00Z)
• Cross-Benchmark Transfer from RL on Agentic Coding Tasks [0.13579757545152057]
  多くの場合、コーディングエージェントは最後の1マイルで失敗する。機能の大部分を構築し、要件をドロップし、実装がすでに処理しているケースのみをテストし、無傷であるはずの動作を壊したり、未確認の仮定に対して検証する。 専門家が構築したエージェントコーディングタスクの強化学習がこのギャップを埋めるか、エージェントが学習するものがトレーニング分布を超えるのかを問う。 我々は,隠れフェール・ツー・パステストとパス・ツー・パステストによって評価された1,700のタスクと,専門家が書いた隠れバリデーションによって評価された700の端末タスクについて,Kim K2.7コードをポストトレーニングした。
  論文  参考訳（メタデータ） (2026-10-01T01:12:24Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• When Simulation Lies: A Sim-to-Real Benchmark and Domain-Randomized RL Recipe for Tool-Use Agents [32.54888729689753]
  ツール使用による部分的に観測可能なマルコフ決定過程(POMDP)における実測ギャップとしての失敗について検討する。 本稿では,ドメインランダム化強化学習(RL)レシピであるToolRL-DRを提案する。 3Bバックボーンでは、ToolRL-DR-Fullは約4分の3のクリーンな精度を維持し、オープンソースの14B関数呼び出しベースラインに匹敵する集計精度に達する。
  論文  参考訳（メタデータ） (2026-05-12T10:40:28Z)
• Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。 既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。 本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T21:38:20Z)
• Robust Tool Use via Fission-GRPO: Learning to Recover from Execution Errors [41.78467154106763]
  本稿では,実行エラーをRLトレーニングループ内の修正監視に変換するフレームワークであるFission-GRPOを提案する。 私たちのコアメカニズムは、微調整されたエラーシミュレータの診断フィードバックによって、新しいトレーニングインスタンスへの各障害軌跡を増大させます。 BFCL v4 Multi-Turnでは、Fission-GRPOはQwen3-8Bのエラー回復率を5.7%改善し、その精度は4%向上した。
  論文  参考訳（メタデータ） (2026-01-22T03:57:35Z)
• Can Large Reasoning Models Improve Accuracy on Mathematical Tasks Using Flawed Thinking? [0.0]
  思考の連鎖(CoT)の促進は、大きな言語モデルにおける数学的推論の中心となっている。 故意に欠陥のある推論トレースのトレーニングが、そのようなエラーを検出して回復するモデルを教えることができるかどうかを考察する。
  論文  参考訳（メタデータ） (2025-12-18T21:20:21Z)
• Train Hard, Fight Easy: Robust Meta Reinforcement Learning [78.16589993684698]
  実世界のアプリケーションにおける強化学習(RL)の大きな課題は、環境、タスク、クライアントの違いである。 標準的なMRL法は、タスクよりも平均的なリターンを最適化するが、リスクや難易度の高いタスクでは悪い結果に悩まされることが多い。 本研究では, MRL の頑健な目標を制御レベルで定義する。 ロバストメタRLアルゴリズム(RoML)を用いてデータ非効率に対処する
  論文  参考訳（メタデータ） (2023-01-26T14:54:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。