論文の概要: Gate AI: LLM Security Benchmark Evaluation Methodology and Results
- arxiv url: http://arxiv.org/abs/2606.02959v1
- Date: Mon, 01 Jun 2026 23:29:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:04.64158
- Title: Gate AI: LLM Security Benchmark Evaluation Methodology and Results
- Title（参考訳）: Gate AI: LLMセキュリティベンチマーク評価方法論と結果
- Authors: Ryle Goehausen, Marcus Sousa,
- Abstract要約: 本稿では,データセットごとのしきい値調整と未開示動作点に対処する評価ハーネスについて述べる。
評価中の検出器は5倍のクロスバリデーションを用いて16の公開ベンチマークで評価される。
外部比較において、検出器の閾値は、競合が公表した偽陽性率に再調整される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Published evaluations of prompt-injection and jailbreak detectors for Large Language Models often suffer from two systematic weaknesses: per-dataset threshold tuning and undisclosed operating points. We describe an evaluation harness that addresses both. The detector under evaluation is scored across 16 public benchmarks (12,111 samples) using 5-fold cross-validation. StratifiedKFold (by row) is the headline pass; a parallel StratifiedGroupKFold pass over a composite key (parent-prompt id plus MinHash + LSH near-duplicate clusters at Jaccard $\gtrsim 0.8$) runs alongside it as a leakage-premium diagnostic. A single global operating point is selected on the held-out folds (max F1 subject to FPR $\leq 1\%$) and applied uniformly to every dataset, so per-dataset results reflect one threshold rather than per-benchmark optimisation. Generalisation is examined through a battery of diagnostics (leave-one-dataset-out cross-validation, a random-label control, adversarial validation, permutation feature importance, length-bias correlation, classifier-head agreement, cross-source near-duplicate detection, threshold transferability, train-vs-OOF agreement, and a paraphrase-invariance probe), most with a quantitative pass threshold and the remainder with a stated failure mode. For every external comparison, the detector's threshold is re-tuned to the competitor's published false-positive rate so head-to-head values are evaluated at matched operating points.
- Abstract（参考訳）: 大規模言語モデルに対するプロンプトインジェクションとジェイルブレイク検出器の評価は、データセットごとのしきい値調整と未公表の操作点の2つの体系的な弱点に悩まされることが多い。
両方に対処する評価ハーネスについて述べる。
評価中の検出器は5倍のクロスバリデーションを用いて16の公開ベンチマーク(12,111サンプル)で測定される。
StratifiedGroupKFoldは、複合キー(Person-prompt id + MinHash + LSH)をパスし、Jaccard $\gtrsim 0.8$でニア二重クラスタが、リークプリミウム診断として並行して実行される。
ホールドアウトフォルダ(FPR $\leq 1\%$)上に1つのグローバルな演算点を選択し、各データセットに一様に適用するので、データセット毎の結果はベンチマークごとの最適化よりも1つの閾値を反映する。
診断用電池(Leve-one-dataset-out cross-validation, ランダムラベル制御, 逆ラベル検証, 置換特性の重要度, 長さバイアス相関, 分類器-ヘッド一致, クロスソース近傍重複検出, しきい値転送性, トレイン-vs-OOF一致, パラフレーズ不変性プローブ)を用いて, 多くは定量的パスしきい値, その他の障害モードで検討した。
外部比較において、検出器のしきい値は競合相手が公表した偽陽性率に再調整されるので、頭対頭値は一致した操作点で評価される。
関連論文リスト
- Benchmarking Recursive-Collapse Warning Claims Under Matched False-Positive Control [0.0]
再帰的なシステムは、過度な失敗が見える前に、崩壊のような状態に入ることができる。
障害が指向性テレメトリパターンに従うかどうかをテストするためのクレームバウンド型ベンチマークフレームワークであるLoopzeroを紹介した。
凍結した2つの公開アーティファクトベンチマークのブリッジを評価する。
論文 参考訳（メタデータ） (2026-05-29T20:12:42Z) - Beyond the Fold: Quantifying Split-Level Noise and the Case for Leave-One-Dataset-Out AU Evaluation [1.7159330469510958]
クロスバリデーション自体が測定可能な分散をもたらすことを示す。
BP4D+では、3倍の主成分排他的分割を繰り返して、平均F1で平均0.065ドルという経験的なノイズフロアを生成する。
さらに、5つのAUデータセットにわたるLeave-One-Dataset-Outプロトコルを用いて、データセット間のロバスト性を評価する。
論文 参考訳（メタデータ） (2026-04-02T15:28:55Z) - GroupEnsemble: Efficient Uncertainty Estimation for DETR-based Object Detection [10.241307426902178]
GroupEnsembleはDTRのようなモデルに対する効率的かつ効果的な不確実性推定手法である。
我々は,都市景観とCOCOデータセットを用いて,自律運転シーンと日常の日常シーン下での手法の有効性を検証した。
その結果,MC-Dropout と GroupEnsemble を組み合わせたハイブリッドアプローチは,Deep Ensembles をコストのごく一部で実現していることがわかった。
論文 参考訳（メタデータ） (2026-03-02T13:26:40Z) - When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift [0.0]
有害なリクエスト、ジェイルブレイク、間接的なプロンプトインジェクション、抽出攻撃にまたがる18のデータセットのベンチマークを用いて、包括的な分析を行う。
我々は,真のアウト・オブ・ディストリビューションの一般化を評価するために,LODO(Leave-One-Dataset-Out)評価を提案する。
論文 参考訳（メタデータ） (2026-02-15T14:21:43Z) - Almost Asymptotically Optimal Active Clustering Through Pairwise Observations [59.20614082241528]
そこで本研究では, ノイズと能動的に収集された応答を用いて, M$アイテムを未知数の$K$個別グループにクラスタリングするための新しい分析フレームワークを提案する。
クラスタリングの精度に対する望ましい信頼性を達成するのに必要なクエリ数の基本的下位境界を確立する。
我々は、一般化された同値比統計の計算可能な変種を開発し、その下限に対する性能ギャップを正確に推定できることを実証的に示す。
論文 参考訳（メタデータ） (2026-02-05T14:16:47Z) - SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。
ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。
安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文 参考訳（メタデータ） (2026-01-19T23:37:10Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析
本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。
我々の手法は、最先端の手法をクリアマージンで上回る。
論文 参考訳（メタデータ） (2023-07-16T16:32:14Z) - Characterizing the Optimal 0-1 Loss for Multi-class Classification with
a Test-time Attacker [57.49330031751386]
我々は,任意の離散データセット上の複数クラス分類器に対するテスト時間攻撃の存在下での損失に対する情報理論的下位境界を求める。
本稿では,データと敵対的制約から競合ハイパーグラフを構築する際に発生する最適0-1損失を求めるための一般的なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-02-21T15:17:13Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。