論文の概要: Dependence-Aware Risk Assessment and Optimal Design of AI-Agent Safeguard Systems
- arxiv url: http://arxiv.org/abs/2611.00386v1
- Date: Fri, 30 Oct 2026 21:07:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:48:13.713978
- Title: Dependence-Aware Risk Assessment and Optimal Design of AI-Agent Safeguard Systems
- Title(参考訳): AI-Agent セーフガードシステムの依存型リスクアセスメントと最適設計
- Abstract要約: 大規模言語モデル(LLM)エージェントは、合法的なサービスを維持しながら、不正な動作を防ぐための保護に依存している。
既存のリスクアセスメントでは、個々のセーフガードのパフォーマンスに焦点を合わせながら、セーフガード決定への依存を見落としている場合が多い。
本稿では,マルチコンポーネント型AIセーフガードシステムのリスクアセスメントと最適設計のための依存型フレームワークを開発する。
- 参考スコア(独自算出の注目度): 9.601800186995687
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language model (LLM) agents increasingly rely on safeguards to prevent unauthorized actions while preserving legitimate service. However, existing risk assessments often focus on individual safeguard performance while overlooking dependence among safeguard decisions. This paper develops a dependence-aware framework for risk assessment and optimal design of multi-component AI safeguard systems, jointly selecting configurations and operating policies for sequential layered screening and selective verification. We establish stochastic comparisons of layered-screening error probabilities and invocation costs under lower-orthant ordering. For selective verification, we characterize exactly which policies have error probabilities and review costs that respond monotonically to stronger dependence under supermodular ordering. For a fixed first stage and reviewer, we show that the optimal routing map is a two-threshold rule in the first-stage likelihood ratio. An accompanying open-source software package, Dependence-Aware Policy Optimization Algorithms (DAPOA), facilitates the practical implementation of the proposed framework. Numerical experiments show that ignoring dependence can lead to inaccurate risk assessments and infeasible safeguard designs, with independence-based selections violating security requirements in six of eight scenarios. An empirical study using four LLM safeguards on benchmark-derived agent actions further demonstrates the practical implications of dependence modeling. Under the principal operating setting, dependence-aware selection lowers held-out total cost by 39.6% relative to independence-based selection.
- Abstract(参考訳): 大規模言語モデル(LLM)エージェントは、合法的なサービスを維持しながら、不正な動作を防ぐための保護に依存している。
しかしながら、既存のリスクアセスメントでは、個々のセーフガードのパフォーマンスに焦点を合わせながら、セーフガード決定への依存を見落としている場合が多い。
本稿では,マルチコンポーネント型AIセーフガードシステムのリスクアセスメントと最適設計のための依存型フレームワークを開発し,シーケンシャル層スクリーニングと選択検証のための構成と運用ポリシーを共同で選択する。
我々は,階層型スクリーニング誤差確率と低順序順序下での起動コストの確率的比較を確立する。
選択的な検証のために、我々は、どのポリシーがエラー確率を持ち、超モジュラー順序の下でより強い依存に単調に応答するレビューコストを正確に特徴付ける。
固定された1段目とレビュアーに対して、最適経路写像は1段目確率比の2閾値ルールであることを示す。
オープンソースソフトウェアパッケージである Dependence-Aware Policy Optimization Algorithms (DAPOA) は,提案したフレームワークの実装を容易にする。
数値実験により、依存を無視することは、不正確なリスク評価や非実用的安全設計につながることが示され、独立ベースの選択は8つのシナリオのうち6つでセキュリティ要件に違反している。
4つのLDMセーフガードをベンチマーク由来のエージェントアクションに用いた実証的研究は、さらに依存性モデリングの実践的意味を証明している。
主要な運用条件の下では、依存認識の選択は、独立に基づく選択と比較して総コストを39.6%引き下げる。
関連論文リスト
- Calibration and Risk-Budgeted Decisions with System One Models [0.0]
LLMとエージェントは、入力を許可/ブロックしたり、検索したドキュメントを破棄/保存したりといったバイナリな決定に頼っている。
我々は,この設定におけるシステム1決定スコアについて,不確実な場合には保守的なフォールバックをデフォルトにすることで検討する。
テストリスクが定義された設定の約半数において、閾値選択の単純基線が目標リスクを超えていることが示される。
論文 参考訳(メタデータ) (2026-10-14T08:54:01Z) - Selective Ensemble Based on Preference-Directed Multi-Objective Bandits [90.75513823660775]
我々は、部分的に指定された線形選好の下で逐次決定問題を定式化する。
次に、嗜好指向の高信頼度境界(PrefUCB)アルゴリズムを提案する。
大規模な事前学習型モデル選択アンサンブルタスクと,機関委任下でのオンラインアセットアロケーションの実験により,本手法が検証された。
論文 参考訳(メタデータ) (2026-06-20T07:52:46Z) - Capability Minimization as a Safety Primitive: Risk-Aware Causal Gating for Least-Privilege LLM Agents [0.0]
Risk-Aware Causal Gating (RACG) は、モデルの予測から行動するか、延期するかを判断するフレームワークである。
RACGは、候補行動から結果への因果経路をモデル化し、予測された対実リスクに応じて各決定をゲートする。
RACGは,非ゲートポリシーの効用の大部分を保ちながら,コストエラーを大幅に低減することを示す。
論文 参考訳(メタデータ) (2026-06-11T20:19:35Z) - VI-CuRL: Stabilizing Verifier-Independent RL Reasoning via Confidence-Guided Variance Reduction [55.04308051033549]
RLVR(Reinforcement Learning with Verifiable Rewards)は、LLM(Large Language Models)推論を向上するための主要なパラダイムとして登場した。
モデル固有の信頼性を活用して外部検証から独立したカリキュラムを構築するフレームワークであるVerifier-Independent Curriculum Reinforcement Learning (VI-CuRL)を紹介する。
論文 参考訳(メタデータ) (2026-02-13T03:40:52Z) - Conformal Thinking: Risk Control for Reasoning on a Compute Budget [60.65072883773352]
大規模言語モデル(LLM)の推論により、トークンの予算が増加するにつれて、データセットレベルの精度が向上する。
我々は、予算設定問題をリスクコントロールとして再設定し、計算を最小化しながらエラー率を制限する。
我々のフレームワークは、モデルが自信のあるときに推論を停止する上位しきい値と、未解決のインスタンスを事前に停止させる新しい下位しきい値を導入する。
論文 参考訳(メタデータ) (2026-02-03T18:17:22Z) - Reliable LLM-Based Edge-Cloud-Expert Cascades for Telecom Knowledge Systems [54.916243942641444]
大規模言語モデル(LLM)は、通信などの分野において、自動化の鍵となる存在として浮上している。
本研究では,問合せパイプラインによる意思決定を支援する,エッジクラウドに精通したLLMベースの知識システムについて検討する。
論文 参考訳(メタデータ) (2025-12-23T03:10:09Z) - Making LLMs Reliable When It Matters Most: A Five-Layer Architecture for High-Stakes Decisions [51.56484100374058]
現在の大規模言語モデル(LLM)は、実行前にアウトプットをチェックできるが、不確実な結果を伴う高い戦略決定には信頼性が低い検証可能な領域で優れている。
このギャップは、人間と人工知能(AI)システムの相互認知バイアスによって引き起こされ、そのセクターにおける評価と投資の持続可能性の保証を脅かす。
本報告では、7つのフロンティアグレードLDMと3つの市場向けベンチャーヴィグネットの時間的圧力下での系統的質的評価から生まれた枠組みについて述べる。
論文 参考訳(メタデータ) (2025-11-10T22:24:21Z) - DeepKnown-Guard: A Proprietary Model-Based Safety Response Framework for AI Agents [12.054307827384415]
大きな言語モデル(LLM)はますます顕著になり、重要なドメインへの信頼性の高いデプロイメントを厳しく制限しています。
本稿では,LLMを入力レベルと出力レベルの両方で保護する新しい安全応答フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-05T03:04:35Z) - Risk-Controlling Model Selection via Guided Bayesian Optimization [35.53469358591976]
他の競合するメトリクスに対して有用でありながら、特定のリスクに対するユーザ指定の制限に固執する構成を見つけます。
提案手法は,指定された関心領域に属する最適構成の集合を同定する。
提案手法は,低誤差率,等式予測,スプリアス相関処理,生成モデルにおける速度と歪みの管理,計算コストの削減など,複数のデシダラタを用いたタスクに対する有効性を示す。
論文 参考訳(メタデータ) (2023-12-04T07:29:44Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳(メタデータ) (2023-11-08T00:10:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。