論文の概要: Act on Your Behalf, Beyond Your Authorization: Benchmarking LLM Agent Authorization Alignment
- arxiv url: http://arxiv.org/abs/2610.27548v2
- Date: Wed, 21 Oct 2026 06:31:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.085735
- Title: Act on Your Behalf, Beyond Your Authorization: Benchmarking LLM Agent Authorization Alignment
- Title(参考訳): LLMエージェントの認証アライメントをベンチマークするAct on your Behalf, Beyond your Authorization
- Abstract要約: 実世界の事例に根ざした認証の認証Benchを紹介する。
認証を意識したサンドボックス内の3つのエージェントハーネスにまたがる2つの理由設定で4つのモデルですべてのタスクを実行する。
エージェントは19.2%のトラジェクトリで認可を外し、24のコンフィグレーションで10.5%から26.6%のレートである。
- 参考スコア(独自算出の注目度): 11.901878094034224
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When an LLM agent acts on behalf of a user, it is expected to act within the authorization scope the user grants. Existing agent evaluations largely measure task completion or harmful consequences and can therefore overlook actions that violate this delegation without producing conventional safety or privacy harms. We introduce AuthorizationBench, a benchmark of authorization alignment grounded in documented real-world cases. A scalable construction pipeline produces 286 executable tasks spanning situational triggers, the presence or absence of direct harmful consequences, and ten application domains. We execute every task with four models at two reasoning-effort settings across three agent harnesses in an authorization-aware sandbox that keeps authorized and out-of-authorization paths executable and observable, yielding 6,864 trajectories. Agents act out of authorization in 19.2% of trajectories, with rates ranging from 10.5% to 26.6% across the 24 configurations. Task completion does not imply authorization. Increasing reasoning effort leaves the aggregate rate nearly unchanged, with effects varying across models. On controlled pairs, agents act out of authorization at similar rates with (17.9%) and without (20.8%) direct harmful consequences, and more often under benign pressures than malicious injections (23.5% versus 17.6%, p=0.002). Our results show that task capability, additional reasoning, and consequence-oriented safety evaluation do not by themselves ensure authorization alignment. Moreover, agents that consult the principal before completing a task exhibit lower rates of out-of-authorization behavior (14.0% versus 21.6%, p<0.001), pointing to a tension between agent autonomy and preserving users' decision authority that calls for further human-centered study. Dataset and code are available at https://github.com/PEACH-Research-Lab/AuthorizationBench .
- Abstract(参考訳): LLMエージェントがユーザの代理として機能すると、ユーザが許可する承認範囲内で動作することが期待される。
既存のエージェント評価は、主にタスク完了または有害な結果を測定するため、従来の安全やプライバシーの害を生じさせることなく、この委任を侵害する行為を見落としることができる。
我々は、実世界の文書化されたケースに根ざした認証アライメントのベンチマークであるAuthorizationBenchを紹介する。
スケーラブルな構成パイプラインは、状況トリガ、直接的な有害な結果の有無、アプリケーションドメイン10つにまたがる286の実行可能なタスクを生成する。
3つのエージェントハーネスにまたがる2つの理性効果設定で4つのモデルですべてのタスクを実行し、認証済みおよび許可外パスを実行可能かつ監視可能とし、6,864のトラジェクトリを生成する。
エージェントは19.2%のトラジェクトリで認可を外し、24のコンフィグレーションで10.5%から26.6%のレートである。
タスク完了は承認を暗示しない。
推論の努力の増加は凝集率をほとんど変わらないままにし、効果はモデルによって異なる。
コントロールされたペアでは、エージェントは17.9%と同等の速度で、直接的な有害な結果(20.8%)を伴わず、悪質な注射(23.5%対17.6%、p=0.002)よりも良質な圧力で行動する。
以上の結果から,タスク能力,追加推論,結果指向の安全性評価は,それ自体がアライメントアライメントを保証するものではないことが示唆された。
さらに、タスク完了前にプリンシパルを相談するエージェントは、エージェントの自律性と、さらに人間中心の研究を求めるユーザの意思決定権限の緊張感を示す、権限外行動の低いレート(14.0%対21.6%、p<0.001)を示す。
データセットとコードはhttps://github.com/PEACH-Research-Lab/AuthorizationBench で公開されている。
関連論文リスト
- From Approval to Abuse: Privilege Escalation Attacks on Harness-Protected Coding Agents [71.95900681890676]
コーディングエージェントは、実行ハーネスを使用して、パーミッション境界を強制することによって、プロンプトインジェクションの結果を制限する。
承認疲労を軽減するために、ユーザはエージェントが提案する許可ルールを承認し、その後、ルールにマッチする将来のアクションをプロンプトなしで許可する。
信頼できないコンテキストは、承認のために提示された許可に影響を与える可能性がある。
論文 参考訳(メタデータ) (2026-10-16T06:13:06Z) - Separation of Duties for Privileged LLM Agents: A Governed Execution Architecture with Measured Security-Utility Trade-offs [0.0]
エージェントとオペレーティングシステムの間に4つの役割(プランナー、政策ゲート、執行役、監査役)を介するアーキテクチャについて検討する。
我々は8種類の313ケースのベンチマークで評価した。
論文 参考訳(メタデータ) (2026-09-28T05:32:17Z) - AgentBoundary: Counterfactual Evaluation of Safety in Tool-Using LLM Agents [13.557645845585776]
大規模な言語モデルの安全性の整合性は、要求に答えるか拒否するかに大きく取り組まれている。
エージェント的設定では、同じモデルが実行中にパーミッションクリティカルな証拠として振る舞うかどうかを判断しなければならない。
AgentBoundは、ツール使用エージェントの安全性のための、最初の4方向の対物生成・評価フレームワークである。
論文 参考訳(メタデータ) (2026-09-27T15:19:52Z) - Empirical Evaluation of Task-Based Permission Scoping Architecture for AI Agents [0.0]
ロールベースのアクセス制御は、現在のタスクがそれらを使用するかどうかに関わらず、すべてのクレデンシャルが露出する。
以前の作業では、これをタスクコンテキストのミスマッチとして定義し、3ソースのパーミッションアーキテクチャを提案した。
本稿では,数発の訓練を受けたClaude Haiku 4.5に適合する細調整RoBERTa大エンコーダのセキュリティゲートの実装により,その評価を終了する。
論文 参考訳(メタデータ) (2026-09-14T11:48:35Z) - EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents [74.54929751174289]
EvoSafeHarnessは、ターゲットドメイン内の凍結モデルのためのデプロイ可能なハーネスを合成する、安全固有の最適化フレームワークである。
これは平均攻撃成功率を3.3ポイントのユーティリティコストで45.6%から10.0%に下げる。
また、Agent-SafetyBenchでは、すべての犠牲者に対してベストスコアを獲得している。
論文 参考訳(メタデータ) (2026-09-05T05:56:41Z) - Influence Is Not Authority: When Causal Guardrail Signals Make Legitimate Tool Use Look Like an Attack in Tool-Using LLM Agents [1.0262304700896199]
影響に基づくガードレールの鍵となる制限は、正当でユーザ認証されたアクションと悪意のある不正なアクションとを確実に区別しないことである。
我々は,この制限を,24件のベースケースから抽出した96条件の認証等価監査を通じて明らかにした。
シャドーベースのガードレールは、テストされたすべての無害走行を可能にするが、一致した不正な動作をより頻繁に拒否することはない。
論文 参考訳(メタデータ) (2026-08-30T18:16:04Z) - Task-Conditioned Least-Privilege Learning for Executable Terminal and MCP Agents [45.88028371034407]
ツールを使用する大規模言語モデルエージェントは、ユーザが許可しなかったり、タスクが不要であったりする権限を行使しながらタスクを完了することができる。
本研究では,6次元のリスクを伴って各行動が実行前および観測結果から監査される枠組みを提案する。
このフレームワークを1500以上のタスクでQwen3.5-4Bでトレーニングした後、選択された種子は2,896回の評価エピソードで98.48%の安全成功に達した。
論文 参考訳(メタデータ) (2026-08-18T22:07:23Z) - ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents [23.994328225666663]
同僚は保護されたデータを開示し、不正な状態を操作し、不正なAPIを呼び出しながら、良質なタスクを完了することができる。
本稿では,行動安全を定義し,最終応答ではなく,実行軌跡からそのような行動リスクを評価するベンチマークであるActBenchを紹介する。
ActBenchには213のシナリオから600のケースが含まれており、15のリスク行動、6の実行スペース、48のWebサービスAPIがある。
論文 参考訳(メタデータ) (2026-08-10T11:45:03Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳(メタデータ) (2025-12-23T08:42:09Z) - Are Your Agents Upward Deceivers? [73.1073084327614]
大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。
これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。
本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
論文 参考訳(メタデータ) (2025-12-04T14:47:05Z) - Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。
Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。
私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
論文 参考訳(メタデータ) (2025-07-28T05:13:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。