論文の概要: RITE: Evaluating End-to-End Resilience to Silent Tool Errors in E-Commerce Agentic Systems
- arxiv url: http://arxiv.org/abs/2610.27777v1
- Date: Tue, 20 Oct 2026 07:42:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.701476
- Title: RITE: Evaluating End-to-End Resilience to Silent Tool Errors in E-Commerce Agentic Systems
- Title（参考訳）: RITE:Eコマースエージェントシステムにおけるサイレントツールエラーに対するエンドツーエンドレジリエンスの評価
- Abstract要約: 沈黙の誤りは 続く決定を通じて 最終回答へと伝播する
Silent-error Resilience Taskは、サイレントエラーが中間状態を破損した後、エージェントが元のクエリを完了するかどうかを評価する対話的なタスクである。
167のプレフィックス、9つのEコマースプレフィックスにマッチしたユニット、501のサイレントエラー、正しい値、明示的な障害インスタンスを含んでいる。
- 参考スコア（独自算出の注目度）: 3.5983435027211397
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tool-using LLM agents increasingly answer e-commerce queries through multi-step tool interactions. The expected output of a tool call can shift between agent development and execution, allowing a plausible but incorrect value to be returned without an explicit failure signal. These silent errors may propagate through subsequent decisions into final answers. To study agents' resilience across this end-to-end process, we formulate Silent-error Resilience Task, an interactive task that evaluates whether they complete the original query after a silent error corrupts an intermediate state. We introduce RITE, a benchmark built from human-authored industrial workflows and production-log-derived inputs. To enable controlled and reproducible evaluation, we use a semantic error taxonomy to inject errors into fixed workflow prefixes, freeze recorded tool behavior, and let agents continue freely. It contains 167 matched units across nine e-commerce workflows, yielding 501 silent-error, correct-value, and explicit-failure instances. Across 10 recent LLMs, silent errors roughly halve task success and are consistently harder than explicit failures. Recognition, use of an available verification path, and integration of the resulting evidence form successive bottlenecks. We also propose a light State Checker as an intervention to test whether resilience can be improved.
- Abstract（参考訳）: ツールを使用するLLMエージェントは、多段階のツールインタラクションを通じて、Eコマースクエリに回答するようになっている。
ツールコールの期待される出力は、エージェント開発と実行の間でシフトし、明示的な障害信号なしで、妥当だが誤った値を返すことができる。
これらの沈黙の誤りは、後の決定を通じて最終回答へと伝播する可能性がある。
このエンドツーエンドプロセスを通してエージェントのレジリエンスを研究するために、サイレントエラー回復タスク(Silent-error Resilience Task)を定式化する。
人為的な産業ワークフローと生産ログからのインプットから構築されたベンチマークであるRITEを紹介する。
制御および再現可能な評価を可能にするため、セマンティックエラー分類を用いて、固定されたワークフロープレフィックスにエラーを注入し、記録されたツールの動作を凍結し、エージェントを自由に継続させる。
9つのEコマースワークフローに167のマッチしたユニットが含まれており、501のサイレントエラー、正しい値、明示的な障害インスタンスが生成される。
最近の10のLSMで、サイレントエラーはタスクの成功をほぼ半分にし、明示的な失敗よりも一貫して難しい。
認識、利用可能な検証パスの使用、結果のエビデンスの統合は、連続したボトルネックを形成します。
また、レジリエンスを改善するための介入として、ライトステートチェッカーを提案する。
関連論文リスト
- Fly-by-Code: Embodied Coding Agents for Aerial Manipulation with Active Visual and Physical Feedback [63.75302732504381]
エンボディードコーディングエージェントは、プログラムを生成し、実行フィードバックからそれらを精製することで、ロボットポリシーを構築する。
この改善は、実行フィードバックがタスクが成功したかどうかを明らかにし、失敗した後、プログラムのリビジョンをガイドするのに十分な証拠を提供すると仮定する。
同じフィードバックを再検査しても、収集されていない観察や、利用可能な証拠が区別できない原因を分離することはできません。
アクティブな"View and Probe"フレームワークであるActive Feedback(AF)を紹介します。
論文 参考訳（メタデータ） (2026-10-08T18:00:00Z) - Robustness Analysis of Agentic AI to Inconsistent and Incomplete Tool Responses [8.002494437891077]
リターンがエージェントコンテキストに入ると、ツールの障害を分析します。
確率に基づく信号は、不完全なリターンといくつかの直接的な不整合をはっきりと捉えていることを示す。
可能性信号の弱いいくつかの障害は、エージェントを状態変化アクションにリダイレクトすることができる。
論文 参考訳（メタデータ） (2026-08-24T00:26:57Z) - ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳（メタデータ） (2026-08-03T15:07:46Z) - Verified Tool Calls Improve LLM Agent Reliability Under Non-Atomic Failures [0.0]
現実世界のシステムは、ディスパッチ後のタイムアウト、遅延可視性、部分的な状態更新など、非原子的な振る舞いを示す。
これらのミスマッチは、重複アクション、タスク成功、不要なツール実行などの信頼性の問題を引き起こす。
ライトウェイトで検証対応のツールラッパーが導入されており、ツールコールをポストコンディション検証、バリデーション前ロジック、イデオロケーションキーで拡張する。
論文 参考訳（メタデータ） (2026-07-31T16:16:14Z) - AEVAL: From Anecdotal to Deterministic Testing for Agentic Skill Workflows [1.6785141970297952]
AEVAL(Agentic Evaluation)はCI統合フレームワークで、このプラクティスをエージェントスキルのための決定論的かつ再現可能なテストパイプラインに置き換える。
すべてのスキル変更がテストイベントをトリガーする。スキルは、自動エグゼキュータ内の開発者が宣言した評価契約に対して実行される。
鍵となる要素は、実行子とグレーダの間の構造的分離であり、微妙だが広汎な障害モードを防止する。
論文 参考訳（メタデータ） (2026-07-16T21:33:05Z) - When Agents Do Not Stop: Uncovering Infinite Agentic Loops in LLM Agents [7.986500985812644]
私たちはこの問題をInfinite Agentic Loops (IALs)と呼んでいる。
IALはエージェントロジック、フレームワークセマンティクス、実行時の観察、終了メカニズム間の相互作用から生まれる。
本研究では,実世界のLLMエージェントプロジェクトにおけるALF検出のための静的解析ツールであるIAL-Scanを提案する。
論文 参考訳（メタデータ） (2026-07-02T03:14:27Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。