論文の概要: Evaluating System One Models for Agent Security Decisions: Reliability, Calibration, and Selective Automation

• arxiv url: http://arxiv.org/abs/2609.33401v3
• Date: Sat, 03 Oct 2026 10:00:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 04:43:28.395978
• Title: Evaluating System One Models for Agent Security Decisions: Reliability, Calibration, and Selective Automation
• Title（参考訳）: エージェントセキュリティ決定のためのシステム1モデルの評価:信頼性、校正、選択的自動化
• Abstract要約: 我々は,Jev,Laya,Decider,Bespoke Nimbleを特殊分類器および言語モデル判定器に対して評価する。 全体的な精度が高く、平均校正誤差が低いと、特定のグループ内で高い信頼性で安全な攻撃を隠蔽できる。 開発者はレビュールールの前方にある安全でないインプットをテストし、レビューモデルのミスを測定し、それらのインプットに対して誤ったアラームを無視する必要がある。
• 参考スコア（独自算出の注目度）: 2.8852978050220766
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Agentic software connects language models to tools that modify files and interact with external services. Developers use model-based security checks to screen external content and user requests before agents act. System One models answer developer-defined questions with probabilities over predefined answers such as safe or unsafe, but classification accuracy alone does not establish whether these probabilities support reliable automation. We evaluate Jev, Laya, Decider, and Bespoke Nimble against specialized classifiers and language-model judges across prompt-injection detection, interaction-risk judgment, and harmful-request screening, examining decision accuracy, calibration, and selective automation. (1) High overall accuracy and low average calibration error can conceal attacks classified as safe with high confidence within particular groups. Developers should test candidate models on the intended security task and examine errors within relevant attack groups. (2) Policies selected under strict miss limits allow few test inputs automatically, and choosing allow and block thresholds separately increases automation mainly through additional blocks. Developers should verify limits on missed unsafe inputs and blocked benign inputs on independent data, and report the allowed and blocked fractions separately. (3) Comparing predictions on the same inputs shows that a language-model judge can detect unsafe inputs missed by a System One model, but can also repeat the System One model's confident mistakes and falsely flag benign inputs. Developers should test which missed unsafe inputs their review rule forwards, then measure the review model's misses and benign false alarms on those inputs.
• Abstract（参考訳）: エージェントソフトウェアは、言語モデルをファイルを変更し、外部サービスと対話するツールに接続する。 モデルベースのセキュリティチェックを使用して、エージェントが動作する前に外部コンテンツやユーザリクエストをスクリーニングする。 システム1モデルは、安全か安全でないかといった事前定義された回答に対して、開発者定義の質問に答えるが、分類精度だけでは、これらの確率が信頼性の高い自動化をサポートするかどうかを定めていない。 我々は,Jev,Laya,Decider,Bespoke Nimbleを,迅速なインジェクション検出,対話リスク判定,有害な検索,意思決定精度,校正,選択的自動化といった分野において,特殊分類器および言語モデル判断器に対して評価した。 1) 総合精度が高く, 平均校正誤差が低いと, 特定のグループ内での信頼性の高い攻撃を隠蔽できる。 開発者は、意図したセキュリティタスクで候補モデルをテストし、関連するアタックグループ内のエラーを検査する必要がある。 2) 厳格なミス制限の下で選択されたポリシーは、自動的なテスト入力をほとんど許可せず、許容とブロックしきい値の選択は、主に追加ブロックを通じて自動化を別々に増加させる。 開発者は、ミスセーフな入力の制限を検証し、独立したデータでベニグインプットをブロックし、許可された分数とブロックされた分数とを別々に報告する必要がある。 (3)同じ入力に対する予測を比較すると,言語モデル判断者はシステムワンモデルで見逃された安全でない入力を検出できるが,システムワンモデルの確実な誤りを繰り返すこともでき,誤った入力をフラグ付けすることもできる。 開発者はレビュールールの前方にある安全でないインプットをテストし、レビューモデルのミスを測定し、それらのインプットに対して誤ったアラームを無視する必要がある。

関連論文リスト

• Finite-Sample Probabilistic Safety Certification for AI-Based Grid-Edge Coordination [0.22940141855172028]
  本稿では,閉ループグリッド動作におけるブラックボックスAI決定モデルに対する有限サンプル確率的安全性保証フレームワークを開発する。 1000エージェントAIモデル(独立パラメータ)によるグリッドエッジフレキシビリティ調整のケーススタディは、有限サンプル安全性を保証する。
  論文  参考訳（メタデータ） (2026-09-23T14:24:46Z)
• Robust Conformal Intrusion Detection via Traffic-Aware Calibration and Attack-Orbit Invariance [1.4915002678801434]
  ネットワーク侵入検出のために微調整された大規模言語モデルは、統計的確証のない単一点予測を出力する。 本稿では, 対向的な摂動制御可能なネットワーク機能によって, クリーントラフィックのしきい値の調整が失敗することを示す。 本稿では,攻撃者が使用するであろう摂動機構から引き出されたトラフィックを校正するトラフィック認識型コンフォメーション予測を提案する。
  論文  参考訳（メタデータ） (2026-07-22T02:29:47Z)
• Entropy Alone is Insufficient for Safe Selective Prediction in LLMs [20.664633053172327]
  選択予測システムは、高リスクケースでの回答を控えることで、言語モデル幻覚による害を軽減することができる。 不確実性定量化技術はしばしばそのようなケースを特定するために用いられるが、より広い選択的予測ポリシーの文脈で評価されることはほとんどない。 エントロピーに基づく不確実性手法のモデル依存的故障モードを同定し、エントロピースコアと正当性プローブ信号を組み合わせることで、信頼できない禁忌行動に対処する。
  論文  参考訳（メタデータ） (2026-03-22T11:27:13Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• Coverage-Guaranteed Speech Emotion Recognition via Calibrated Uncertainty-Adaptive Prediction Sets [0.0]
  しばしば感情的な抑圧と突然のアウトバーストによって引き起こされる道路の怒りは、衝突や攻撃的な行動を引き起こすことによって道路の安全を著しく脅かす。 音声感情認識技術は、ネガティブな感情を早期に識別し、タイムリーな警告を発することにより、このリスクを軽減することができる。 本稿では,予測精度を統計的に厳格に保証するリスク制御予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-24T12:26:28Z)
• Model Tampering Attacks Enable More Rigorous Evaluations of LLM Capabilities [49.09703018511403]
  大規模言語モデル(LLM)のリスクと能力の評価は、AIのリスク管理とガバナンスフレームワークにますます取り入れられている。 現在、ほとんどのリスク評価は、システムから有害な振る舞いを誘発する入力を設計することで実施されている。 本稿では,遅延活性化や重みへの修正が可能なモデル改ざん攻撃を用いたLCMの評価を提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:59:16Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。