論文の概要: Do User-Authored Permission Policies Improve Protection Against AI Agent Overreach?

• arxiv url: http://arxiv.org/abs/2608.27443v1
• Date: Thu, 27 Aug 2026 17:56:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.521803
• Title: Do User-Authored Permission Policies Improve Protection Against AI Agent Overreach?
• Title（参考訳）: ユーザ認証のパーミッションポリシはAIエージェントのオーバーリーチに対する保護を改善するか?
• Abstract要約: 本稿では,言語モデルを用いて,ユーザが指定した"allow","ask","never"ルールを用いて,アクションを直感的な結果カテゴリにマッピングするメカニズムについて検討する。 我々は,プロのソフトウェアバックグラウンドを持たない113人の参加者を,アクションごとの承認,アクションごとの自動レビュー,ユーザによる結果ポリシーの3つの条件で分析した。
• 参考スコア（独自算出の注目度）: 0.533024001730262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI agents are poised to become a primary interface to digital products, acting across email, files, payments, and personal data. People without professional software backgrounds need understandable, reusable ways to control actions across services. We examine a mechanism in which a language model maps actions to plain-language consequence categories with user-authored "allow", "ask", or "never" rules. We ask what is gained and lost when decisions are made in advance as reusable rules rather than separately for each action. We analyzed 113 participants without professional software backgrounds across three conditions: per-action human-in-the-loop approval (HITL), automated per-action model review (AUTO), or user-authored consequence policy (POLICY). Participants judged 2 examples in each of 4 consequence categories; POLICY participants then set one rule per category. All supervised an 18-action simulated day, including 7 overreach actions. POLICY blocked less overreach than HITL (-20.1 percentage points, 95% CI [-32.1, -8.1]) and AUTO (-14.5 points, 95% CI [-25.8, -3.2]). POLICY lowered runtime prompts from 18.0 to 10.9, but total intervention time was not reliably lower when rule setup was included. Exploratory analysis showed that participants chose "ask" for 114 of 140 POLICY rules, returning most overreach actions to runtime. Of the 148 overreach actions executed in POLICY, 133 followed human approval and 15 ran automatically under "allow" rules. Across all 7 overreach actions, POLICY had the highest approval rate. Counterintuitively, user-authored rules did not by themselves provide stronger protection: many actions outside users' original requests went through after users approved them. These results reveal a gap between preference and commitment: repeatedly choosing "ask" preserves case-by-case choice but prevents a standing policy from settling decisions in advance.
• Abstract（参考訳）: AIエージェントは、電子メール、ファイル、支払い、個人データにまたがって機能する、デジタル製品の主要なインターフェースになる可能性がある。 プロフェッショナルなソフトウェアバックグラウンドを持たない人は、サービス間でのアクションを制御する、理解し、再利用可能な方法が必要です。 本稿では,言語モデルによるアクションを,ユーザが指定した"allow","ask","never"ルールを用いて,平易な結果カテゴリにマッピングするメカニズムについて検討する。 我々は、各アクションに対して個別にではなく、再利用可能なルールとして事前に決定されたときに、何を得るか、失うのかを尋ねる。 我々は,プロのソフトウェアバックグラウンドを持たない113人の参加者を,HITL(per-action human-in-the-loop approval),AUTO(automatic per-action model review),POLICY(user-authored consequence policy)の3つの条件で分析した。 参加者は4つの結果カテゴリのそれぞれに2つの例を判定し、PolicY参加者は各カテゴリに1つのルールを設定した。 全ては7つのオーバーリーチ行動を含む18行動のシミュレーション日を監督した。 POLICY は HITL (-20.1%、95% CI [-32.1, -8.1]) と AUTO (-14.5ポイント、95% CI [-25.8, -3.2]) よりも過給が少なかった。 POLICYはランタイムプロンプトを18.0から10.9に下げたが、全体の介入時間はルール設定が組み込まれた時点では確実に低下しなかった。 探索分析の結果、参加者は140のPolicYルールのうち114の"ask"を選択し、ほとんどのオーバーリーチアクションを実行時に返した。 POLICYで実行された148件のオーバーリーチ行動のうち、133件は人間の承認に従っており、15件は自動的に「許容」ルールの下で実行された。 7つの過剰な行動の中で、Policyは最も高い承認率を持っていた。 ユーザーが承認した後に、ユーザーからの要求以外の多くのアクションが実行された。 これらの結果は、優先順位とコミットメントのギャップを明らかにしている。"ask" の繰り返しの選択はケースバイケースの選択を保存するが、定常的なポリシーが事前に決定を下すのを防ぐ。

関連論文リスト

• "We Permit the Use of AI, but [...]": The Landscape of AI Policies in Popular Open Source Projects [5.469767315515344]
  オープンソースコミュニティは、新たなガバナンスアーティファクトであるAIコントリビューションポリシに集約されている。 我々は281のAIコントリビューションポリシーを分析し、それらを6次元に沿って手作業で分類した。 専用AIポリシーファイルの半数はすでに作成されてから改訂されている。
  論文  参考訳（メタデータ） (2026-09-07T14:25:25Z)
• SUN: Persistent Programs For Language-Grounded Control-to-Learning-to-Real Policies [61.941546372624686]
  既存のプロトコルはタスクのセマンティクスを廃止し、手作りの報酬と制御が検証したものから逸脱する振る舞いを残している。 本稿では,SUN (Semantically UNified Programs) を導入し,幾何関係と接触関係が一度定義され,整列したモデル予測制御にコンパイルされる型付き実行プログラムについて述べる。 我々のシステムであるKuafuは、言語やシーンのセマンティクスからSUNプログラムを自動で合成し、MPCによる画面表示を実現し、ステージ条件付きポリシーのトレーニング中にセマンティクスを保持する。
  論文  参考訳（メタデータ） (2026-08-31T17:59:16Z)
• If Agents Were Angels, No Governance Would Be Necessary: Out-of-Band Policy Enforcement at a Trusted Tool Boundary [0.07499722271664146]
  Out-of-Band Policy Enforcement (OBPE)は、エージェント推論以外の信頼できる境界である。 OBPEは型付き操作とリソースを許可し、バックエンド呼び出しの前にクエリを絞り込み、それからレコードとフィールドをフィルタリングし、レスポンスの値にマスクを付ける。
  論文  参考訳（メタデータ） (2026-08-27T19:35:48Z)
• Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents [29.96375986740068]
  Harness-IFは、実行証拠から一度に1つの運用ルールをスコアする。 AP-Accは、不正なデフォルトに対してラベル付けされたルールのみをスコアする。
  論文  参考訳（メタデータ） (2026-08-12T07:07:57Z)
• How Agents Ask for Permission: User Permissions for AI Agents, from Interfaces to Enforcement [55.966820779528376]
  AIエージェントが普及するにつれて、ユーザーはそのようなシステムが抱えるリスクにますますさらされている。 プロンプト・インジェクション・アタックや幻覚は、エージェントに個人情報を第三者にリークさせる可能性がある。 自律システムとして、エージェントは、ユーザの意図や承認なしに、銀行取引のような機密性の高いタスクを実行することの、より積極的な危険性を示す。
  論文  参考訳（メタデータ） (2026-07-15T11:36:22Z)
• Institutional Red-Teaming: Deployment Rules, Not Just Models, Causally Shape Multi-Agent AI Safety [0.0]
  マルチエージェントAIにおけるデプロイメントルールテストのための評価手法である,制度的リピーティングを導入する。 レッドチームでは、エージェント、目的、タスクの状態が固定され、1つのルールだけが変更され、その結果の集合的振る舞いの変化がそのルールに反映される。 IABench-CAは228の文脈,5つの標準規則,7つのモデル集団(33,924のゲーム)にまたがる帰属配置のベンチマークである。
  論文  参考訳（メタデータ） (2026-07-08T17:53:56Z)
• Using AI Agents to Automate Black-Box Audits of Personalization Algorithms at Scale [76.72846830885882]
  パーソナライズアルゴリズムは、ユーザーがオンラインプラットフォームで遭遇するコンテンツを決定する。 独立した監査役はアルゴリズムへのブラックボックスアクセスしか持たないため、これらのシステムの監査は難しい。 合成アカウントの動作エンジンとして生成AIエージェントを用いたパーソナライズアルゴリズムのブラックボックス監査のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-29T18:25:09Z)
• Options, Not Clicks: Lattice Refinement for Consent-Driven MCP Authorization [13.545463672621372]
  リスクをエスカレートしながら、既知のバウンダリ内の安全なコールを自動送信するリスク格子を利用して、バウンダリスコープによる認証を実施するクライアントサイドであるConleashを提案する。 98.2%の精度を達成し、99.4%のエスカレーションを獲得し、8.2msのオーバヘッドしか加えなかった。
  論文  参考訳（メタデータ） (2026-05-12T00:25:56Z)
• Measuring the Permission Gate: A Stress-Test Evaluation of Claude Code's Auto Mode [9.116800340266066]
  Claude Codeの自動モードは、AIコーディングエージェントに最初にデプロイされたパーミッションシステムである。 Anthropicは、生産トラフィックに対して0.4%の偽陽性率と17%の偽陰性率を報告している。 本研究では, 個々の行動レベルでの状態変化行動253件を, オラクル・グラウンドの真理に対して評価した。
  論文  参考訳（メタデータ） (2026-04-04T17:56:30Z)
• Before the Tool Call: Deterministic Pre-Action Authorization for Autonomous AI Agents [0.0]
  Open Agent Passport (OAP)は、実行前にツール呼び出しを同期的にインターセプトするオープン仕様とリファレンス実装である。 OAPは、53ms(N=1,000)の中央値で認可決定を強制する セキュリティ制約を強制するのと同じインフラストラクチャでは,品質ゲートや運用契約,コンプライアンスコントロールも実施されている。
  論文  参考訳（メタデータ） (2026-03-21T21:34:09Z)
• When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents [50.5814495434565]
  この研究は、コンピュータ利用エージェント(CUA)における不整合検出を定義し、研究する最初の試みである。 実世界のCUAデプロイメントにおける3つの一般的なカテゴリを特定し、人間の注釈付きアクションレベルのアライメントラベルを用いたリアルな軌跡のベンチマークであるMisActBenchを構築した。 本稿では,実行前に不整合を検知し,構造化されたフィードバックによって繰り返し修正する,実用的で普遍的なガードレールであるDeActionを提案する。
  論文  参考訳（メタデータ） (2026-02-09T18:41:15Z)
• Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
  44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。 Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。 私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
  論文  参考訳（メタデータ） (2025-07-28T05:13:04Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)
• FDPP: Fine-tune Diffusion Policy with Human Preference [57.44575105114056]
  人間の嗜好を考慮した微調整拡散政策は、嗜好に基づく学習を通して報酬関数を学習する。 この報酬は、訓練済みの政策を強化学習で微調整するために使われる。 実験により、FDPPは性能を損なうことなく、効果的にポリシーの動作をカスタマイズできることが示されている。
  論文  参考訳（メタデータ） (2025-01-14T17:15:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。