論文の概要: Efficient and Sound Probabilistic Verification for AI Agents

• arxiv url: http://arxiv.org/abs/2606.20510v1
• Date: Thu, 18 Jun 2026 17:27:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:40.020249
• Title: Efficient and Sound Probabilistic Verification for AI Agents
• Title（参考訳）: AIエージェントの効率的・健全な検証
• Authors: Alaia Solko-Breslin, Pramod Kaushik Mudrakarta, Mihai Christodorescu, Somesh Jha, Krishnamurthy Dj Dvijotham,
• Abstract要約: Datalogのような形式言語で表現されたポリシーを定式化し、強制するランタイムモニタリングアプローチは、有望なソリューションを提供する。 AIエージェントの多くの実践的応用において、あいまいさに直面したセキュリティポリシーを強制する必要がある。 本稿では,分散的ロバストな最適化に基づく健全で効率的な検証フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 22.701446570414195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Securing AI agents that operate in complex digital environments has become a critical need, and runtime monitoring approaches that formulate and enforce policies expressed in a formal language like Datalog offer a promising solution. However, existing approaches are restricted to deterministic policies. In many practical applications of AI agents, there is a need to enforce security policies in the face of ambiguity, leading to probabilistic predicates or state transitions (for example, a declassifier or Personally Identifiable Information (PII) detector that has some failure probability on each invocation). Furthermore, in many such applications, one cannot easily make the independence assumptions necessary to invoke prior work on probabilistic inference in Datalog. We address this by introducing a sound and efficient framework for such verification based on distributionally robust optimization, computing sound upper bounds on the probability of policy violation regardless of possible correlations between predicates. On standard benchmarks for terminal and tool calling agents, we demonstrate that our approach outperforms prior art and improves the security-utility trade-off while ensuring rigorous bounds on the probability of policy violation.
• Abstract（参考訳）: 複雑なデジタル環境で運用するAIエージェントのセキュア化は重要なニーズとなり、Datalogのような形式言語で表現されたポリシーを定式化し、強制するランタイム監視アプローチは、有望なソリューションを提供する。 しかし、既存のアプローチは決定論的政策に限定されている。 多くのAIエージェントの実践的な応用では、曖昧さに直面してセキュリティポリシーを強制する必要があるため、確率的述語や状態遷移(例えば、各呼び出しに何らかの失敗の確率を持つ非分類者または個人識別可能な情報(PII)検出器)につながる。 さらに、このようなアプリケーションの多くは、データログの確率的推論に関する事前の作業を実行するのに必要な独立性の仮定を容易にできない。 本稿では,分散的ロバストな最適化に基づく検証のための健全かつ効率的なフレームワークを導入し,予測間の相関性に拘わらず,政策違反の確率の上限を計算することによって,この問題に対処する。 端末およびツール呼び出しエージェントの標準ベンチマークでは、当社のアプローチが先行技術より優れ、セキュリティ・ユーティリティのトレードオフを改善しつつ、ポリシー違反の可能性に厳格な制限を課すことを実証している。

関連論文リスト

• PolicyBank: Evolving Policy Understanding for LLM Agents [51.86716874651299]
  PolicyBankは構造化されたツールレベルの政策洞察を維持し、それらを反復的に洗練する。 PolicyBankは、人間の神託に対するギャップの最大82%を閉じている。
  論文  参考訳（メタデータ） (2026-04-16T20:29:30Z)
• When to Act, Ask, or Learn: Uncertainty-Aware Policy Steering [10.01278648231868]
  ポリシーステアリングは、デプロイ時にロボットの振る舞いを適用する新しい方法です。 VLM(Vision-Language Models)は、それらの推論能力のために、汎用的な検証を約束する。 セマンティックタスクの不確実性と低レベルのアクション実現可能性について共同で理由づけるフレームワークである不確実性対応型ポリシーステアリング(UPS)を提案する。
  論文  参考訳（メタデータ） (2026-02-25T23:23:22Z)
• Prediction-Powered E-Values [0.66567375919026]
  予測型推論のアイデアをe-valueに適用する。 e-values でフレーム化できるすべての推論手順には予測機能があることを示す。 私たちのアプローチはモジュール化されており、既存のアルゴリズムに簡単に統合できます。
  論文  参考訳（メタデータ） (2025-02-06T18:36:01Z)
• Probabilistic Reach-Avoid for Bayesian Neural Networks [71.67052234622781]
  最適合成アルゴリズムは、証明された状態の数を4倍以上に増やすことができることを示す。 このアルゴリズムは、平均的な到達回避確率を3倍以上に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-03T10:52:21Z)
• Robust Control for Dynamical Systems With Non-Gaussian Noise via Formal Abstractions [59.605246463200736]
  雑音分布の明示的な表現に依存しない新しい制御器合成法を提案する。 まず、連続制御系を有限状態モデルに抽象化し、離散状態間の確率的遷移によってノイズを捕捉する。 我々は最先端の検証技術を用いてマルコフ決定プロセスの間隔を保証し、これらの保証が元の制御システムに受け継がれるコントローラを演算する。
  論文  参考訳（メタデータ） (2023-01-04T10:40:30Z)
• Bounded Robustness in Reinforcement Learning via Lexicographic Objectives [54.00072722686121]
  強化学習における政策の堅牢性は、いかなるコストでも望ましいものではないかもしれない。 本研究では,任意の観測ノイズに対して,政策が最大限に頑健になる方法について検討する。 本稿では,どのような政策アルゴリズムにも適用可能なロバストネス誘導方式を提案する。
  論文  参考訳（メタデータ） (2022-09-30T08:53:18Z)
• Conformal Off-Policy Prediction in Contextual Bandits [54.67508891852636]
  コンフォーマルなオフ政治予測は、新しい目標ポリシーの下で、結果に対する信頼できる予測間隔を出力することができる。 理論上の有限サンプル保証は、標準的な文脈的バンディットの設定を超える追加の仮定をすることなく提供する。
  論文  参考訳（メタデータ） (2022-06-09T10:39:33Z)
• Robust Anytime Learning of Markov Decision Processes [8.799182983019557]
  データ駆動型アプリケーションでは、限られたデータから正確な確率を導き出すと統計的エラーが発生する。 不確実なMDP(uMDP)は正確な確率を必要としないが、遷移においていわゆる不確実性集合を用いる。 本稿では,ベイズ的推論スキームとロバストポリシーの計算を組み合わせた,頑健な任意の時間学習手法を提案する。
  論文  参考訳（メタデータ） (2022-05-31T14:29:55Z)
• Sampling-Based Robust Control of Autonomous Systems with Non-Gaussian Noise [59.47042225257565]
  雑音分布の明示的な表現に依存しない新しい計画法を提案する。 まず、連続系を離散状態モデルに抽象化し、状態間の確率的遷移によってノイズを捕捉する。 いわゆる区間マルコフ決定過程(iMDP)の遷移確率区間におけるこれらの境界を捉える。
  論文  参考訳（メタデータ） (2021-10-25T06:18:55Z)
• Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via Online High-Confidence Change-Point Detection [7.685002911021767]
  非定常環境におけるポリシーを効率的に学習するアルゴリズムを導入する。 これは、リアルタイム、高信頼な変更点検出統計において、潜在的に無限のデータストリームと計算を解析する。 i) このアルゴリズムは, 予期せぬ状況変化が検出されるまでの遅延を最小限に抑え, 迅速な応答を可能にする。
  論文  参考訳（メタデータ） (2021-05-20T01:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。