論文の概要: Runtime Governance for AI Agents: Policies on Paths
- arxiv url: http://arxiv.org/abs/2603.16586v1
- Date: Tue, 17 Mar 2026 14:35:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-18 17:42:07.342976
- Title: Runtime Governance for AI Agents: Policies on Paths
- Title(参考訳): AIエージェントのランタイムガバナンス - パスに関するポリシー
- Authors: Maurits Kaptein, Vassilis-Javed Khan, Andriy Podstavnychy,
- Abstract要約: 我々は、実行パスが効率的なランタイムガバナンスの中心的なオブジェクトであると主張している。
私たちの見解では、実行時評価は一般的なケースであり、パスに依存したポリシーには必要です。
- 参考スコア(独自算出の注目度): 4.111929395230638
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents -- systems that plan, reason, and act using large language models -- produce non-deterministic, path-dependent behavior that cannot be fully governed at design time, where with governed we mean striking the right balance between as high as possible successful task completion rate and the legal, data-breach, reputational and other costs associated with running agents. We argue that the execution path is the central object for effective runtime governance and formalize compliance policies as deterministic functions mapping agent identity, partial path, proposed next action, and organizational state to a policy violation probability. We show that prompt-level instructions (and "system prompts"), and static access control are special cases of this framework: the former shape the distribution over paths without actually evaluating them; the latter evaluates deterministic policies that ignore the path (i.e., these can only account for a specific subset of all possible paths). In our view, runtime evaluation is the general case, and it is necessary for any path-dependent policy. We develop the formal framework for analyzing AI agent governance, present concrete policy examples (inspired by the AI act), discuss a reference implementation, and identify open problems including risk calibration and the limits of enforced compliance.
- Abstract(参考訳): AIエージェント -- 大規模言語モデルを使って計画、理性、行動を行うシステム -- は、設計時に完全に管理できない非決定論的、パスに依存した振る舞いを生み出します。
我々は、実行経路が効果的なランタイムガバナンスの中心的対象であり、コンプライアンスポリシーを決定論的関数として定式化し、エージェントのアイデンティティ、部分的なパス、提案された次のアクション、そして組織状態にポリシー違反の確率をマッピングする。
前者は実際には評価せずに経路上の分布を形作り、後者は経路を無視する決定論的ポリシーを評価する(つまり、これらは全ての可能な経路の特定のサブセットしか説明できない)。
私たちの見解では、実行時評価は一般的なケースであり、パスに依存したポリシーには必要です。
我々は,AIエージェントガバナンスを解析し,具体的な政策事例(AI法に触発された)を提示し,参照実装について議論し,リスク校正や強制コンプライアンスの制限を含むオープンな問題を特定するための公式な枠組みを開発する。
関連論文リスト
- Verification of Robust Properties for Access Control Policies [51.736723807086385]
既存のアクセス制御ポリシーの検証方法は、検証が進む前に、ポリシーを完全かつ完全に決定する必要がある。
本稿では,政策構造がどのような決定を下すか,どのような決定を下すか,あるいはその後の拡張に拘わらず,その決定を行うかという課題について,ロバストなプロパティ検証を導入する。
可能なすべてのポリシー拡張を普遍的に定量化しているにもかかわらず、判断は二階述語論理プログラミング言語における探索の証明に還元されることを示す。
論文 参考訳(メタデータ) (2026-03-13T17:14:38Z) - Policy Compiler for Secure Agentic Systems [20.346157626726725]
本稿では,エージェントシステムのためのポリシーコンパイラであるPCASについて紹介する。
我々はPCASを3つのケーススタディ – インジェクション防衛のための情報フローポリシー、マルチエージェント製薬システムにおける承認、カスタマーサービスのための組織ポリシー – で評価する。
論文 参考訳(メタデータ) (2026-02-18T18:57:12Z) - Autonomous Agents and Policy Compliance: A Framework for Reasoning About Penalties [1.2891210250935148]
本稿では、非コンプライアンスに対する潜在的な罰則を推論できる政策対応自律エージェントのための論理プログラミングベースのフレームワークを提案する。
我々のフレームワークは、罰則を組み込むために、Gelfond と Lobo's Authorization and Obligation Policy Language (AOPL)を拡張しています。
本手法は, 規則違反を明確に識別することで, 整然とした政策の確保, 方針の優先事項の説明, 説明可能性の向上を図る。
論文 参考訳(メタデータ) (2025-12-03T16:29:09Z) - Policy-as-Prompt: Turning AI Governance Rules into Guardrails for AI Agents [0.19336815376402716]
我々は、構造化されていない設計成果物(RD、TDD、コードなど)を検証可能なランタイムガードレールに変換する規制機械学習フレームワークを導入します。
Promptメソッドとしての私たちのポリシーは、これらのドキュメントを読み、ソースリンクされたポリシーツリーを構築するためのリスクコントロールです。
システムは最小限の特権とデータ最小化を強制するために構築される。
論文 参考訳(メタデータ) (2025-09-28T17:36:52Z) - Learning Deterministic Policies with Policy Gradients in Constrained Markov Decision Processes [59.27926064817273]
我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し,支配的仮定の下でのグローバルな最終点収束保証を享受する。
制約制御タスクにおいて,アクションベース(C-PGAE)とパラメータベース(C-PGPE)の両方を実証的に検証する。
論文 参考訳(メタデータ) (2025-06-06T10:29:05Z) - Zero-Shot Whole-Body Humanoid Control via Behavioral Foundation Models [71.34520793462069]
教師なし強化学習(RL)は、複雑な環境下で幅広い下流タスクを解くことができる事前学習エージェントを目標としている。
本稿では,ラベルのない行動データセットからトラジェクトリを模倣するための,教師なしRLの正規化アルゴリズムを提案する。
我々は,この手法の有効性を,挑戦的なヒューマノイド制御問題において実証する。
論文 参考訳(メタデータ) (2025-04-15T10:41:11Z) - Few-shot Policy (de)composition in Conversational Question Answering [54.259440408606515]
本稿では,大規模言語モデル(LLM)を用いて数ショット設定でポリシーコンプライアンスを検出するニューラルシンボリックフレームワークを提案する。
提案手法は,回答すべきサブクエストを抽出し,文脈情報から真理値を割り当て,与えられたポリシーから論理文の集合を明示的に生成することで,政策コンプライアンスに関する会話に対して健全な理由を示す。
本手法は,PCDおよび会話機械読解ベンチマークであるShARCに適用し,タスク固有の微調整を伴わずに競合性能を示す。
論文 参考訳(メタデータ) (2025-01-20T08:40:15Z) - PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。
本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。
その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
論文 参考訳(メタデータ) (2023-08-03T18:03:44Z) - On the Value of Myopic Behavior in Policy Reuse [67.37788288093299]
未知のシナリオで学習戦略を活用することは、人間の知性の基本である。
本稿では,Selectivemyopic bEhavior Control(SMEC)というフレームワークを提案する。
SMECは、事前ポリシーの共有可能な短期的行動とタスクポリシーの長期的行動を適応的に集約し、協調的な決定につながる。
論文 参考訳(メタデータ) (2023-05-28T03:59:37Z) - Verifiable Planning in Expected Reward Multichain MDPs [20.456052208569115]
エージェントの意思決定方針を導出する定常計画問題について検討する。
提案プログラムに対する最適解が、厳密な行動保証を伴う定常的な政策をもたらすことを証明した。
論文 参考訳(メタデータ) (2020-12-03T18:54:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。