論文の概要: ToolChain-CRC: Conformal Risk Control for Agentic AI Under Retrieval and Tool-Use Drift
- arxiv url: http://arxiv.org/abs/2606.18467v1
- Date: Tue, 16 Jun 2026 20:27:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-18 17:16:50.890122
- Title: ToolChain-CRC: Conformal Risk Control for Agentic AI Under Retrieval and Tool-Use Drift
- Title（参考訳）: ToolChain-CRC: 検索およびツール使用ドリフトにおけるエージェントAIのコンフォーマルリスク制御
- Authors: Jeffery Opoku, David Banahene,
- Abstract要約: ドリフト中の検索・ツール利用エージェントに対する共形リスク制御手法であるToolChain-CRCを提案する。
この方法は各エージェントを行動、観察、最終的な出力の完全な軌跡として扱う。
ステップレベルのリスクスコアを構築し、それらを軌道上のリスクスコアに組み合わせ、アクセプションまたはインターベンルールを校正し、いつでもアラームを追加します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern AI agents retrieve documents, call tools, check intermediate information, and then produce a final answer or action. This creates a risk-control problem that is not visible from the final answer alone. A final response may look acceptable even when the retrieval was weak, a tool output was wrong, or an earlier step was unsupported. We propose ToolChain-CRC, a conformal risk-control method for retrieval-augmented and tool-using agents under drift. The method treats each agent run as a full trajectory of actions, observations, and final output. It builds step-level risk scores, combines them into a trajectory risk score, calibrates an accept-or-intervene rule, and adds an anytime alarm that can stop risky runs before the final answer. We prove trajectory-level risk control under exchangeable calibration runs, give a drift-aware extension with auditable constants, and prove an anytime escalation rule through a supermartingale construction. Experiments cover synthetic tool-chain drift, RAG/tool-use stress tests, public SQuAD-derived retrieval tasks, an API-free agentic QA case study, ablations, target-risk sensitivity checks, 20-seed robustness checks, a drift-margin audit, and a live RAG/tool-use agent benchmark. Across these settings, final-answer-only calibration can miss retrieval and tool failures, while trajectory-level calibration keeps accepted-trajectory risk below the target.
- Abstract（参考訳）: 現代のAIエージェントはドキュメントを検索し、ツールを呼び出し、中間情報をチェックし、最終的な回答またはアクションを生成する。
これにより、最終回答だけでは見えないリスクコントロールの問題が発生する。
検索が弱かったり、ツールのアウトプットが間違っていたり、初期のステップがサポートされなかったりしても、最終的なレスポンスは受け入れられるかもしれない。
ドリフト中の検索・ツール利用エージェントに対する共形リスク制御手法であるToolChain-CRCを提案する。
この方法は各エージェントを行動、観察、最終的な出力の完全な軌跡として扱う。
ステップレベルのリスクスコアを構築し、それらを軌道上のリスクスコアに組み合わせ、アクセプションまたはインターベンルールを校正し、最終回答の前にリスクランを阻止できるアラームを追加します。
我々は、交換可能なキャリブレーション実行時の軌道レベルのリスク制御を証明し、監査可能な定数を持つドリフト対応拡張を与え、スーパーマーチンゲール構成によるいつでもエスカレーション則を証明した。
実験では、合成ツールチェーンドリフト、RAG/ツール使用ストレステスト、パブリックSQuAD由来の検索タスク、APIフリーエージェントQAケーススタディ、アブレーション、ターゲットリスク感度チェック、20シードロバストネスチェック、ドリフトマージン監査、ライブRAG/ツール使用エージェントベンチマークがカバーされた。
これらの設定全体では、最終回答のみのキャリブレーションは検索やツールの故障を見逃しかねない。
関連論文リスト
- What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある
SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。
SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
論文 参考訳（メタデータ） (2026-06-01T03:18:01Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems [30.172832661173928]
LLMベースのマルチエージェントシステムは、長距離タスクにますますデプロイされている。
単一の決定的なエラーは、しばしば下流のエージェントやカスケードによって軌道レベルの障害として受け入れられる。
我々は,この問題をオンライン監査として再編成するフレームワークであるAgentForesightを紹介した。
論文 参考訳（メタデータ） (2026-05-09T05:55:19Z) - TACT: Mitigating Overthinking and Overacting in Coding Agents via Activation Steering [70.99933391739154]
我々は、エージェントが既に持っている情報に対して繰り返し理由付けを行う2つの障害モードと、最近の観察を統合したり、新たな証拠を取得することなくツールコールを発行する2つの障害モードに焦点を当てる。
本稿では,活性化ステアリングによるTACT (Think-Act via activation Steering) を導入し,動作不良として現れる前に残留流中のエージェントの漂流を検知・緩和する。
具体的には、軌道のステップを過度に考え、過剰に実行し、あるいは校正し、隠れた状態が2つの *drift 軸* に沿って線形に分離できることを発見し、それぞれの障害モードに向かって校正された振る舞いを指示する。
論文 参考訳（メタデータ） (2026-05-07T10:24:27Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳（メタデータ） (2026-04-10T09:41:21Z) - TRACER: Trajectory Risk Aggregation for Critical Episodes in Agentic Reasoning [4.928838343487574]
既存の不確実性プロキシは、シングルショットテキスト生成に重点を置いている。
本稿では,マルチコントロールツール-エージェント-ユーザインタラクションのためのトラジェクトリレベルの不確実性指標であるTRACERを紹介する。
論文 参考訳（メタデータ） (2026-02-11T22:23:56Z) - E-valuator: Reliable Agent Verifiers with Sequential Hypothesis Testing [7.984665398116918]
ブラックボックス検証器のスコアを偽アラームレートの証明可能な制御で決定ルールに変換する方法であるe-valuatorを導入する。
評価者は、エージェントの軌道のすべてのステップで統計的に有効であるシーケンシャルな仮説テストを開発するために、プロセスからのツールに基づいて構築される。
E-valuatorは6つのデータセットと3つのエージェントをまたいだ他の戦略よりも高い統計的パワーとより良い誤報率制御を提供することを示す。
論文 参考訳（メタデータ） (2025-12-02T05:59:18Z) - Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。
既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。
我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
論文 参考訳（メタデータ） (2025-10-10T18:42:32Z) - Quantifying Distributional Robustness of Agentic Tool-Selection [8.457056023589951]
ツール選択の堅牢性を正式に認定する最初の統計フレームワークであるToolCertを紹介する。
本稿では,ToolCertが精度に高い信頼度を低下させ,エージェントの最悪の性能を定量的に評価することを示す。
偽装ツールを注入したり、検索を飽和させたりすることで、認証された精度はゼロ近く低下する。
論文 参考訳（メタデータ） (2025-10-05T01:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。