論文の概要: Evaluating System One Models for Agent Security Decisions: Reliability, Calibration, and Selective Automation

• arxiv url: http://arxiv.org/abs/2609.33401v1
• Date: Sun, 27 Sep 2026 09:30:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.664942
• Title: Evaluating System One Models for Agent Security Decisions: Reliability, Calibration, and Selective Automation
• Title（参考訳）: エージェントセキュリティ決定のためのシステム1モデルの評価:信頼性、校正、選択的自動化
• Abstract要約: System Oneモデルは、入力を許可、ブロック、エスカレートするためにソフトウェアが使用できる確率で型付き決定を公開する。 我々は,Jev,Laya,Decider,Bespoke Nimbleを特殊分類器および言語モデル判定器に対して評価する。
• 参考スコア（独自算出の注目度）: 2.8852978050220766
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Model-based judges support agent security by detecting prompt injections, assessing interaction risks, and screening harmful requests. System One models expose typed decisions with probabilities that software can use to allow, block, or escalate inputs, but whether these probabilities support reliable automated security decisions remains unclear. We evaluate Jev, Laya, Decider, and Bespoke Nimble against specialized classifiers and language-model judges, examining decision accuracy, probability calibration, and selective automation. We identify three main findings. (1) Strong overall performance and favorable average calibration can hide systematic failures on particular attack groups, including attacks that models confidently classify as safe. (2) Under strict limits on missed attacks, the evaluated policies allow few inputs automatically, and choosing separate allow and block thresholds increases automation mainly by blocking more inputs. Even policies that meet error limits during validation can exceed them on unseen inputs. (3) A second judge can detect some missed attacks, but it may also reject more benign inputs and repeat the first model's high-confidence errors. These findings show that model accuracy, probability calibration, and the behavior of the resulting decision policy must be evaluated together.
• Abstract（参考訳）: モデルに基づく裁判官は、プロンプトインジェクションを検出し、相互作用リスクを評価し、有害な要求をスクリーニングすることでエージェントのセキュリティを支援する。 System Oneモデルは、入力を許可、ブロック、エスカレートするためにソフトウェアが使用できる確率で型付き決定を公開するが、これらの確率が信頼性の高い自動セキュリティ決定をサポートするかどうかは不明だ。 我々は,Jev,Laya,Decider,Bespoke Nimbleを特殊分類器および言語モデル判定器に対して評価し,判定精度,確率校正,選択的自動化について検討した。 主な発見は3つある。 1) 高い総合性能と良好な平均校正は, モデルが安全であると確実に分類する攻撃を含む, 特定の攻撃群に対する系統的障害を隠蔽することができる。 2) ミス攻撃の厳格な制限の下で、評価されたポリシーでは、入力が自動的に少ないことを可能にし、個別の許容とブロックしきい値を選択することで、主により多くの入力をブロックすることで自動化が向上する。 検証中にエラー制限を満たすポリシーでさえ、見当たらない入力でそれらを超過することができる。 (3) 第二の裁判官は、いくつかのミスした攻撃を検知できるが、より多くの良心的な入力を拒否し、第一のモデルの高信頼エラーを繰り返すこともできる。 これらの結果から, モデル精度, 確率校正, 結果の決定方針の挙動を共に評価する必要があることが示唆された。

関連論文リスト

• Finite-Sample Probabilistic Safety Certification for AI-Based Grid-Edge Coordination [0.22940141855172028]
  本稿では,閉ループグリッド動作におけるブラックボックスAI決定モデルに対する有限サンプル確率的安全性保証フレームワークを開発する。 1000エージェントAIモデル(独立パラメータ)によるグリッドエッジフレキシビリティ調整のケーススタディは、有限サンプル安全性を保証する。
  論文  参考訳（メタデータ） (2026-09-23T14:24:46Z)
• Robust Conformal Intrusion Detection via Traffic-Aware Calibration and Attack-Orbit Invariance [1.4915002678801434]
  ネットワーク侵入検出のために微調整された大規模言語モデルは、統計的確証のない単一点予測を出力する。 本稿では, 対向的な摂動制御可能なネットワーク機能によって, クリーントラフィックのしきい値の調整が失敗することを示す。 本稿では,攻撃者が使用するであろう摂動機構から引き出されたトラフィックを校正するトラフィック認識型コンフォメーション予測を提案する。
  論文  参考訳（メタデータ） (2026-07-22T02:29:47Z)
• Entropy Alone is Insufficient for Safe Selective Prediction in LLMs [20.664633053172327]
  選択予測システムは、高リスクケースでの回答を控えることで、言語モデル幻覚による害を軽減することができる。 不確実性定量化技術はしばしばそのようなケースを特定するために用いられるが、より広い選択的予測ポリシーの文脈で評価されることはほとんどない。 エントロピーに基づく不確実性手法のモデル依存的故障モードを同定し、エントロピースコアと正当性プローブ信号を組み合わせることで、信頼できない禁忌行動に対処する。
  論文  参考訳（メタデータ） (2026-03-22T11:27:13Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• Coverage-Guaranteed Speech Emotion Recognition via Calibrated Uncertainty-Adaptive Prediction Sets [0.0]
  しばしば感情的な抑圧と突然のアウトバーストによって引き起こされる道路の怒りは、衝突や攻撃的な行動を引き起こすことによって道路の安全を著しく脅かす。 音声感情認識技術は、ネガティブな感情を早期に識別し、タイムリーな警告を発することにより、このリスクを軽減することができる。 本稿では,予測精度を統計的に厳格に保証するリスク制御予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-24T12:26:28Z)
• Model Tampering Attacks Enable More Rigorous Evaluations of LLM Capabilities [49.09703018511403]
  大規模言語モデル(LLM)のリスクと能力の評価は、AIのリスク管理とガバナンスフレームワークにますます取り入れられている。 現在、ほとんどのリスク評価は、システムから有害な振る舞いを誘発する入力を設計することで実施されている。 本稿では,遅延活性化や重みへの修正が可能なモデル改ざん攻撃を用いたLCMの評価を提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:59:16Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。