論文の概要: Do Encoders Suffice? A Systematic Comparison of Encoder and Decoder Safety Judges for LLM Adversarial Evaluation
- arxiv url: http://arxiv.org/abs/2606.25782v1
- Date: Wed, 24 Jun 2026 13:00:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.344081
- Title: Do Encoders Suffice? A Systematic Comparison of Encoder and Decoder Safety Judges for LLM Adversarial Evaluation
- Title（参考訳）: エンコーダは十分か? LLM逆算評価のためのエンコーダとデコーダの安全性判定の体系的比較
- Abstract要約: 大規模言語モデル(LLM)の安全性評価は、一般的にLLMベースの判断に頼っている。
ユーザモデル会話において,ModernBERTやEttinを含むModernBERTファミリーの細調整されたモダンエンコーダ分類器が,有害なLCM出力を確実に識別できるかどうかを評価する。
F1スコア,偽陰性率,高精度リコール測定値を用いて絶対性能を報告する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the widespread adoption of large language models (LLMs) in chatbots and everyday applications, companies increasingly need guardrails that are effective while remaining low-cost and low-latency. Safety evaluation of LLM outputs has generally relied on LLM-based judges, which can be effective but are often slow and expensive to deploy at scale. In this paper, we evaluate whether fine-tuned modern encoder classifiers from the ModernBERT family, including ModernBERT and Ettin, can reliably identify harmful LLM outputs in user-model conversations without substantial performance loss relative to LLM-based judges. We benchmark these encoder classifiers against rule-based prefix matching, fine-tuned LLM classifiers, and LLM judges using a range of judge-prompting strategies across open-source adversarial datasets. The LLM judges include evaluation methodologies from StrongReject, ShieldGemma, JailbreakBench, AILuminate, SorryBench, and a Claude-as-a-judge setup, as well as fine-tuned safety classifiers such as LlamaGuard 3 and LlamaGuard 4. The encoder classifiers are fine-tuned on judge-labeled data using a majority-voting label strategy and are then evaluated on a gold-standard holdout dataset to assess their performance relative to LLM judges. We report absolute performance using F1 score, false negative rate, and precision-recall metrics. We also break down results by attack technique, including single-turn prompting, decomposition, escalation, and context manipulation, to identify where encoder classifiers align with or diverge from LLM-based judges. Our findings provide guidance on when encoder classifiers can serve as cost- and latency-efficient alternatives to LLM-based safety evaluation.
- Abstract（参考訳）: チャットボットや日々のアプリケーションに大規模な言語モデル(LLM)が広く採用されているため、企業は低コストと低レイテンシを維持しながら有効であるガードレールをますます必要としています。
LLMのアウトプットの安全性評価は、一般的にLLMベースの審査員に頼っている。
本稿では,ModernBERT や Ettin を含むModernBERT ファミリーの細調整された現代のエンコーダ分類器が,LLM ベースの判定器と比較して性能損失の少ないユーザモデル会話において,有害な LLM 出力を確実に識別できるかどうかを評価する。
我々は、これらのエンコーダ分類器を、ルールベースのプレフィックスマッチング、微調整LDM分類器、およびLLM判定器に対して、オープンソースの逆数データセットにまたがる様々な判断プロンプト戦略を用いてベンチマークする。
LLMの審査員は、StrongReject、ShieldGemma、JailbreakBench、Ailuminate、SorryBench、Claude-as-a-judgeセットアップの評価方法、LlamaGuard 3やLlamaGuard 4のような微調整された安全分類器などを含む。
エンコーダ分類器は、多数投票ラベル戦略を用いて判定ラベル付きデータに基づいて微調整され、ゴールドスタンダードのホールドアウトデータセットで評価され、LLM判定器と比較して性能を評価する。
F1スコア,偽陰性率,高精度リコール測定値を用いて絶対性能を報告する。
また、単一ターンプロンプト、分解、エスカレーション、コンテキスト操作などの攻撃手法により、エンコーダ分類器がLLMベースの判定器と整合するか、分岐するかを識別する。
本研究は, エンコーダ分類器がLCMによる安全性評価に代えて, 低コストかつ遅延効率の高い代替手段として機能する際のガイダンスを提供する。
関連論文リスト
- DA-RAC: Distance-Aware Calibration of LLM Judges for Trustworthy AI Auditing [6.639255145889912]
DA-RAC(DA-RAC)は、LLM審査員のための距離対応基準アンコール式校正法である。
キャリブレーションを改善し、ゼロショット、チェーンオブ思想評価、静的アンカーベースラインに対する偽パスリスクを低減する。
論文 参考訳（メタデータ） (2026-08-15T00:29:25Z) - Prompt Attack Detection with LLM-as-a-Judge and Mixture-of-Models [0.0]
プロンプト攻撃は、大規模言語モデルシステムに重大なセキュリティリスクをもたらす。
運用においては、ガードレールは厳格な低遅延制約の下でこれらの攻撃を軽減する必要がある。
本研究では, LLM がライブガードレールの有効低遅延判定に有効であることを示す。
論文 参考訳（メタデータ） (2026-03-26T08:47:53Z) - Judge Reliability Harness: Stress Testing the Reliability of LLM Judges [1.1699027359021665]
Judge Reliability Harnessは、LCM判事の信頼性をテストする検証スイートを構築するためのオープンソースライブラリである。
安全性,説得性,誤用,エージェント行動の4つのベンチマークで,最先端の4つの審査員を評価した。
論文 参考訳（メタデータ） (2026-03-05T17:27:07Z) - Curate-Train-Refine: A Closed-Loop Agentic Framework for Zero Shot Classification [2.1937565888932653]
大規模言語モデル(LLM)と高容量エンコーダは、ゼロと少数ショットの分類が進んでいるが、その推論コストと遅延は実際のデプロイを制限している。
LLMから動的に生成した教師による軽量テキスト分類器の訓練を提案する。
提案手法は, LLMがトレーニングデータをキュレートし, モデルの成功と失敗を分析し, 対象とするサンプルを合成し, 観測誤差に対処する反復的エージェントループを用いる。
論文 参考訳（メタデータ） (2026-01-23T08:04:09Z) - CodeJudgeBench: Benchmarking LLM-as-a-Judge for Coding Tasks [63.562924932512765]
LLM(Large Language Models)は、様々なコーディングタスクにおいて最先端の言語モデルである。
LLMは、他のモデルによって生成された応答の品質を評価し、比較する裁判官としても機能する。
論文 参考訳（メタデータ） (2025-07-14T17:56:29Z) - Re-evaluating Automatic LLM System Ranking for Alignment with Human Preference [63.03859517284341]
自動評価フレームワークは、人間の嗜好との整合性に基づいてLLMをランク付けすることを目的としている。
自動LLMベンチラは、入力セット、評価モデル、評価タイプ、集約方法の4つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2024-12-31T17:46:51Z) - Better Instruction-Following Through Minimum Bayes Risk [48.879360919760074]
人間レベルの評価が可能な汎用LLM審査員は、命令追従LLMを評価するスケーラブルで正確な方法を提供する。
LLM判事を監督に活用する有望な方法の1つは、最小ベイズリスク(MBR)デコーディングである。
MBRデコードでは、基準ベースの評価器を使用して、候補出力のセットの中から高品質な出力を選択する。
論文 参考訳（メタデータ） (2024-10-03T18:48:38Z) - Style Outweighs Substance: Failure Modes of LLM Judges in Alignment Benchmarking [56.275521022148794]
ポストトレーニング法は、人間のペアワイズ選好とのより良い対応により、優れたアライメントを主張する。
LLM-judgeの好みは、アライメントのためのより具体的なメトリクスの進捗に変換されますか、そうでなければ、なぜそうでないのでしょうか?
その結果,(1) LLM-judge の嗜好は,安全性,世界知識,指導の具体的な尺度と相関せず,(2) LLM-judge の暗黙バイアスが強く,事実性や安全性よりもスタイルを優先し,(3) POステージではなく,訓練後の微調整段階がアライメントに最も影響していることが判明した。
論文 参考訳（メタデータ） (2024-09-23T17:58:07Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。
まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文 参考訳（メタデータ） (2024-06-20T17:56:07Z) - Is LLM-as-a-Judge Robust? Investigating Universal Adversarial Attacks on Zero-shot LLM Assessment [8.948475969696075]
LLM(Large Language Models)は、筆記試験やベンチマークシステムなどの実世界の状況で使用される強力なゼロショットアセスメントである。
本研究では,LLMを判断し,膨らませたスコアを判断するために,短い普遍的対数句を欺くことができることを示す。
判定-LLMは,絶対スコアリングに使用する場合,これらの攻撃に対して有意に感受性が高いことが判明した。
論文 参考訳（メタデータ） (2024-02-21T18:55:20Z) - Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。
我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
論文 参考訳（メタデータ） (2023-08-25T14:02:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。