論文の概要: When Simulation Lies: A Sim-to-Real Benchmark and Domain-Randomized RL Recipe for Tool-Use Agents

• arxiv url: http://arxiv.org/abs/2605.11928v1
• Date: Tue, 12 May 2026 10:40:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.802655
• Title: When Simulation Lies: A Sim-to-Real Benchmark and Domain-Randomized RL Recipe for Tool-Use Agents
• Title（参考訳）: シミュレーションが終わったとき: ツール・ユース・エージェントのためのSim-to-RealベンチマークとDomain-Randomized RLレシピ
• Abstract要約: ツール使用による部分的に観測可能なマルコフ決定過程(POMDP)における実測ギャップとしての失敗について検討する。 本稿では,ドメインランダム化強化学習(RL)レシピであるToolRL-DRを提案する。 3Bバックボーンでは、ToolRL-DR-Fullは約4分の3のクリーンな精度を維持し、オープンソースの14B関数呼び出しベースラインに匹敵する集計精度に達する。
• 参考スコア（独自算出の注目度）: 32.54888729689753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tool-use language agents are evaluated on benchmarks that assume clean inputs, unambiguous tool registries, and reliable APIs. Real deployments violate all these assumptions: user typos propagate into hallucinated tool names, a misconfigured request timeout can stall an agent indefinitely, and duplicate tool names across servers can freeze an SDK. We study these failures as a sim-to-real gap in the tool-use partially observable Markov decision process (POMDP), where deployment noise enters through the observation, action space, reward-relevant metadata, or transition dynamics. We introduce RobustBench-TC, a benchmark with 22 perturbation types organized by these four POMDP components, each grounded in a verified GitHub issue or documented tool-calling failure. Across 21 models from 1.5B to 32B parameters (including the closed-source o4-mini), the robustness profile is sharply uneven: observation perturbations reduce accuracy by less than 5%, while reward-relevant and transition perturbations reduce accuracy by roughly 40% and 30%, respectively; scale alone does not close these gaps. We then propose ToolRL-DR, a domain-randomization reinforcement learning (RL) recipe that trains a tool-use agent on perturbation-augmented trajectories spanning the three statically encodable POMDP components. On a 3B backbone, ToolRL-DR-Full retains roughly three-quarters of clean accuracy and reaches an aggregate perturbed accuracy comparable to open-source 14B function-calling baselines while substantially narrowing the gap to o4-mini. It closes approximately 27% of the Transition gap despite never seeing transition perturbations in training, suggesting that RL on adversarial static tool-use inputs induces a more persistent retry policy that transfers to unseen runtime failures. The dataset, code and benchmark leaderboard are publicly available.
• Abstract（参考訳）: ツール使用言語エージェントは、クリーンな入力、あいまいなツールレジストリ、信頼性の高いAPIを前提としたベンチマークで評価される。 ユーザのタイプミスが幻覚ツール名に伝播し、設定ミスの要求タイムアウトがエージェントを無期限に停止させ、サーバ間の重複ツール名がSDKを凍結する。 我々は,これらの障害を,観察,行動空間,報酬関連メタデータ,あるいは遷移ダイナミクスを通じて展開ノイズが流入するツール用部分観測可能マルコフ決定プロセス(POMDP)における,シミュレート・トゥ・リアルギャップとして検討する。 これら4つのPOMDPコンポーネントによって構成された22の摂動型を備えたベンチマークであるRobustBench-TCを紹介します。 1.5B から 32B パラメータ (クローズソース o4-mini を含む) の21モデルにわたって、ロバスト性プロファイルは著しく不均一であり、観測摂動は5%未満の精度で、報酬関連摂動と遷移摂動はそれぞれ約40%と30%の精度で精度を下げる。 次に,3つの静的エンコード可能なPOMDPコンポーネントにまたがる摂動増強軌道上で,ツール使用エージェントを訓練するドメインランダム化強化学習(RL)レシピであるToolRL-DRを提案する。 3Bバックボーンでは、ToolRL-DR-Fullは約4分の3のクリーンな精度を維持し、オープンソースの14B関数呼び出しベースラインに匹敵する集約的な摂動精度に達しながら、ギャップをo4-miniにかなり狭めている。 トレーニングで移行の摂動を見ることなく、移行ギャップの約27%を閉じており、対向的な静的ツール使用入力のRLは、目に見えないランタイム障害に移行するより永続的な再試行ポリシを誘導することを示している。 データセット、コード、ベンチマークのリーダーボードが公開されている。

関連論文リスト

• Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
  SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。 SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。 また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
  論文  参考訳（メタデータ） (2026-08-25T13:59:34Z)
• ToolRobustBench: Stage-Wise Perturbation Evaluation and Failure Diagnosis for Tool-Calling Agents [16.995082216096787]
  大規模言語モデルは基本的なエージェント機能としてツール呼び出しに依存している。 クリーンなエンドツーエンド(E2E)の成功は、ツール使用障害の発生場所や、呼び出しを通じてどのように伝播するかを特定できない。 ツールコールエージェントの段階的診断ベンチマークである ToolRobustBench を紹介する。
  論文  参考訳（メタデータ） (2026-08-23T15:22:49Z)
• AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
  LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。 Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。 コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
  論文  参考訳（メタデータ） (2026-07-21T06:21:13Z)
• HyperTool: Beyond Step-Wise Tool Calls for Tool-Augmented Agents [52.33697136670754]
  textbfHyperToolは、実行可能なMPPスタイルのツールインターフェースで、ツール実行のモデル可視単位を変更する。 モデルはHyperToolをコードブロックで呼び出し、既存のツールを元のスキーマを通じて呼び出し、返却された値を操作し、中間結果をローカルに渡すことができる。 MCP-Universeでは、HyperToolは平均精度をQwen3-32Bで15.69%から35.29%、Qwen3-8Bで9.93%から33.33%に改善し、GPT-OSSとKimi-k2.5を平均で上回っている。
  論文  参考訳（メタデータ） (2026-06-11T17:56:36Z)
• TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
  ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。 本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-04T07:15:43Z)
• Agent Explorative Policy Optimization for Multimodal Agentic Reasoning [97.64835302176056]
  エージェント推論は2つの行動と構造的非対称性(思考と道具の使用)をインターリーブする。 GRPOのような標準的なRLレシピでは、ギャップはトレーニング中に2つの診断症状として現れる。 AXPO (Agent eXplorative Policy Optimization) を提案する。
  論文  参考訳（メタデータ） (2026-05-27T17:36:39Z)
• TRACER: Verifiable Generative Provenance for Multimodal Tool-Using Agents [19.156453695628013]
  マルチモーダル・ツール・ユース・エージェントにおけるジェネレーティブ・プロビデンスを検証するためのフレームワークであるTRACERを紹介する。 TraCERは、サポートツールターン、エビデンスユニット、セマンティックサポート関係を識別する構造化された証明レコードとともに、各回答文を生成する。 Qwen3-VL-8Bでは、TRACERは78.23%の回答精度と95.72%の要約精度に達し、最強のクローズドソースツール強化ベースラインを23.80ポイント上回った。
  論文  参考訳（メタデータ） (2026-05-11T03:32:55Z)
• Controllable and Verifiable Tool-Use Data Synthesis for Agentic Reinforcement Learning [82.89535601592739]
  マルチレベル検証を用いた自己進化型合成により,信頼性の高い基本ツール利用軌跡を生成する2段階パイプラインを提案する。 これらの拡張は、トラクタツール、間接的または曖昧なユーザクエリ、ノイズ、マルチフォーマット、あるいは誤ったツール出力を導入します。 本設計では,標準事例に対する参照マッチングによる報酬の自動計算と,エラー検出などの特別な動作に対する軽量な判断支援検証を実現する。
  論文  参考訳（メタデータ） (2026-04-10T18:38:52Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• RIVA: Leveraging LLM Agents for Reliable Configuration Drift Detection [3.494935876363005]
  既存のエージェントシステムは、彼らが呼び出すツールが常に正しい出力を返すと暗黙的に仮定している。 我々は,ツールが誤りや誤解を招く出力を生成する場合でも,堅牢なIaC検証を行う,新しいマルチエージェントシステムであるRIVAを紹介する。 この結果から,多種多様なツールコールの相互検証により,実運用環境におけるより信頼性の高い自律的インフラストラクチャ検証が可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-03-02T19:28:27Z)
• Robust Tool Use via Fission-GRPO: Learning to Recover from Execution Errors [41.78467154106763]
  本稿では,実行エラーをRLトレーニングループ内の修正監視に変換するフレームワークであるFission-GRPOを提案する。 私たちのコアメカニズムは、微調整されたエラーシミュレータの診断フィードバックによって、新しいトレーニングインスタンスへの各障害軌跡を増大させます。 BFCL v4 Multi-Turnでは、Fission-GRPOはQwen3-8Bのエラー回復率を5.7%改善し、その精度は4%向上した。
  論文  参考訳（メタデータ） (2026-01-22T03:57:35Z)
• ET-Agent: Incentivizing Effective Tool-Integrated Reasoning Agent via Behavior Calibration [68.89572566071575]
  ETAgentはエージェントのツール使用行動を調整するためのトレーニングフレームワークである。 過誤行動パターンを最適行動に段階的に校正するように設計されている。
  論文  参考訳（メタデータ） (2026-01-11T11:05:26Z)
• Adaptive Monitoring and Real-World Evaluation of Agentic AI Systems [3.215065407261898]
  大規模言語モデルと外部ツールを組み合わせたマルチエージェントシステムは、研究機関からハイテイクドメインへと急速に移行している。 この「先進的な」続編は、アルゴリズムのインスタンス化や経験的な証拠を提供することで、そのギャップを埋める。 AMDMは擬似ゴールドリフトで異常検出遅延を12.3秒から5.6秒に減らし、偽陽性率を4.5%から0.9%に下げる。
  論文  参考訳（メタデータ） (2025-08-28T15:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。