論文の概要: AuthGateBench: Benchmarking LLMs as Authorization Gate
- arxiv url: http://arxiv.org/abs/2610.16426v1
- Date: Mon, 12 Oct 2026 08:55:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.34089
- Title: AuthGateBench: Benchmarking LLMs as Authorization Gate
- Title（参考訳）: AuthGateBench: LLMを認証ゲートとしてベンチマークする
- Abstract要約: AuthGateBenchは、良心的な要求の下で認証ゲーティングを行うための最初のポリシーガイダンスベンチマークである。
モデルがより良い判断を下すのに補助的な環境信号が役立つかどうかを検討する。
評価では、モデルが内部の安全アライメントに過度に依存しているため、障害モード間で精度が不均一に低下する。
- 参考スコア（独自算出の注目度）: 5.504238772822917
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Automated approval systems let coding agents execute high-risk actions with minimal human oversight by delegating the authorization decision to a classifier, typically a large language model (LLM). Such systems, adopted in tools like Claude Code and Codex, remain vulnerable to failure modes such as scope escalation, where the agent takes actions exceeding what the user authorized. Existing benchmarks focus mainly on malicious requests, evaluating refusal under an implicit policy. We introduce AuthGateBench, the first policy-guided benchmark for authorization gating under benign requests. We implement a novel pipeline where an LLM generates contrast pairs with identical action and trajectory but differing request, flipping the label between block and allow. This allows us to assess whether models reason over context rather than the action alone. We further examine whether auxiliary environment signals can help models make better decisions. The resulting benchmark comprises 1,400 instances spanning five failure modes drawn from real-world Claude Code incidents. Evaluations show accuracy degrades unevenly across failure modes as models over-rely on internal safety alignment, and models still block most actions even when explicitly authorized, revealing unstable rather than deterministic decisions; retrospectively retrieved environment signals, however, substantially improve authorization accuracy.
- Abstract（参考訳）: 自動承認システムでは、承認決定を分類器(通常、大きな言語モデル(LLM))に委譲することで、コーディングエージェントが最小限の人間の監視でハイリスクアクションを実行することができる。
Claude CodeやCodexなどのツールで採用されているこのようなシステムは、スコープエスカレーションのような障害モードに対して脆弱なままであり、エージェントは、ユーザが承認した以上のアクションを取る。
既存のベンチマークは主に悪意のあるリクエストに焦点を当て、暗黙のポリシーの下で拒否を評価する。
AuthGateBenchは、良心的な要求の下で認証ゲーティングを行うための最初のポリシーガイダンスベンチマークである。
我々は、LLMが同一の動作と軌跡を持つコントラストペアを生成するが、要求が異なる新しいパイプラインを実装し、ブロックと許容の間のラベルを反転させる。
これにより、アクションのみではなく、コンテキストよりもモデルが理由であるかどうかを評価することができます。
さらに、補助的な環境信号がモデルがより良い判断を下すのに役立つかどうかについても検討する。
結果として得られたベンチマークは、現実世界のClaude Codeインシデントから引き出された5つの障害モードにまたがる1,400のインスタンスで構成されている。
評価は、内部の安全アライメントに過度に依存するモデルとして、障害モード間で精度が不均一に低下していることを示し、モデルが明示的に承認された場合でも、ほとんどのアクションをブロックし、決定論的決定よりも不安定であることを明らかにする。
関連論文リスト
- DelegateGuard: Purpose-Bound Capabilities for Delegated LLM Agent Workflows [0.0]
既存のリークベンチマークはこれらの障害を露呈するが、委任されたエージェントが行使する権限を制限しない。
本稿では,ユーザ認証の開始を目的,ラベル,操作,シンク,デリゲートの深度を超えて,阻止可能な機能に変換するリファレンスモニタシステムを提案する。
論文 参考訳（メタデータ） (2026-10-12T00:12:11Z) - Decision Uncertainty-Oriented Watermarking (DUOW): Securing Multi-Agent Routing Against Policy Cloning [52.112503352265556]
Decision Uncertainty-Oriented Watermarking (DUOW)は、モデルパラメータや生成された出力を変更することなく、外部決定層で動作する軽量フレームワークである。
DUOWは高いタスクユーティリティを保ち、最大90%のログ消去の下で信頼性の高いオーナシップ検証を実現し、計算オーバーヘッドを無視できることを示した。
論文 参考訳（メタデータ） (2026-10-10T05:51:13Z) - FAVA: Formal Authorization for Verified Agents with Evidence-Backed Permission Graphs [11.447078130049512]
FAVAは、エージェントの実行を許可する認可フレームワークである。
OpenAgentSafety、OctoBench、ActPlaneのシナリオでFAVAを評価する。
論文 参考訳（メタデータ） (2026-07-29T09:41:07Z) - ClayBuddy: A Framework, Evaluation, & Mitigation of Coding Agent Failures [1.0742675209112622]
障害モードは、不特定性、能力エラー、エージェントハーネスエラーの3つのメカニズムから派生したものとして研究する。
我々はClayBuddyを提案する。ClayBuddyはユーザの好みを形作るハーネスで、モデルのインセッションで修正してこれらのエラーを軽減できる。
論文 参考訳（メタデータ） (2026-06-13T18:29:53Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳（メタデータ） (2026-06-09T16:24:16Z) - Do Coding Agents Understand Least-Privilege Authorization? [14.240332406666779]
我々は、現在のモデルが認証境界自体を推測できるかどうか検討する。
We show that frontier model often off permissions by the execution chain while giving unuseed or sensitive accesss。
そこで我々は,まずカバレッジ指向のポリシを生成し,各エントリをグラウンドと感度で監査する,十分性-高度分解法を提案する。
論文 参考訳（メタデータ） (2026-05-14T14:05:58Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳（メタデータ） (2026-04-10T09:41:21Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。