論文の概要: Guard Models Are Overconfident Where Base Models Are Uncertain

• arxiv url: http://arxiv.org/abs/2609.36477v1
• Date: Tue, 29 Sep 2026 01:36:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.093627
• Title: Guard Models Are Overconfident Where Base Models Are Uncertain
• Title（参考訳）: 警備隊のモデルは、基地のモデルが不確かだと過信される
• Abstract要約: 我々は,迅速な分類のための5つのガードモデルを評価し,敵の攻撃によってキャリブレーションが桁違いに低下することを発見した。 基本モデルは、ガードが失敗するのと同じ入力に対して不確実性を表すのが一般的である。 これらの結果から,攻撃時のガード信頼度とベースモデルの不確実性との一致が示唆された。
• 参考スコア（独自算出の注目度）: 2.5492080916045006
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Guard models are used as safety classifiers, with confidence scores driving downstream moderation decisions. We evaluate five guard models for prompt classification and find that although several are nearly calibrated on clean inputs, adversarial attacks degrade their calibration by an order of magnitude, turning false negatives into high-confidence errors indistinguishable from correct detections. Comparing each guard with its corresponding base LM, we find that uncertainty signals often remain available, with the base model typically expressing uncertainty on the same inputs where the guard fails. Layer-wise analyses localize this guard-base divergence to later layers, where guard models exhibit sharper safe/unsafe separation and lower-rank representations, while adversarial harmful inputs lie closer to the clean-safe region. These findings highlight a mismatch between guard confidence and base model uncertainty under attack.
• Abstract（参考訳）: ガードモデルは安全分類器として使用され、信頼性スコアは下流のモデレーション決定を駆動する。 早期分類のための5つのガードモデルを評価し, いくつかはクリーンな入力でほぼキャリブレーションされているが, 敵攻撃はキャリブレーションを桁違いに低下させ, 偽陰性を高精度な検出と区別不能な高信頼誤差に変換する。 各ガードと対応するベースLMを比較すると、ベースモデルではガードが故障した場合と同じ入力に対して不確実性を示すことが多いため、不確実性信号がしばしば利用可能であることが分かる。 レイヤワイズ解析はガードベース分岐を後層にローカライズし、ガードモデルではよりシャープな安全/安全でない分離と低ランクの表現を示し、対向的な有害な入力はクリーンセーフ領域に近づいた。 これらの結果から,攻撃時のガード信頼度とベースモデルの不確実性との一致が示唆された。

関連論文リスト

• The Knowing-Saying Gap: When Probes See Errors that Confidence Misses [20.46211358172975]
  線形プローブは、ほぼ完全精度で言語モデルの劣化コンテキストを検知するが、信頼性の高い故障予測にはならない。 マルチホップ算術連鎖全体において、汚職を検出するプローブは最終解の正しさについて非形式的であることが判明した。 リアルタイムモニタとして、プローブベースの介入は、シャープにモデル化され、エラータイプに依存します。
  論文  参考訳（メタデータ） (2026-07-21T12:13:10Z)
• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
  教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。 推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。 これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
  論文  参考訳（メタデータ） (2026-06-09T16:14:27Z)
• Selective Safety Steering via Value-Filtered Decoding [54.87935112120107]
  大型言語モデル(LLM)は人間の価値観に合わせるように訓練されているが、その世代は安全上の制約に反する可能性がある。 既存のデコード時のステアリング手法は、しばしば不要に介入し、ベースモデルの下で安全であった世代を変更する。 安全でない応答の安全性を向上しつつ、そのような不要な介入を減らすための新しいテストタイムステアリング手法を提案する。
  論文  参考訳（メタデータ） (2026-05-14T12:13:08Z)
• Guardian-as-an-Advisor: Advancing Next-Generation Guardian Models for Trustworthy LLMs [70.81495077853673]
  ハードゲートのセーフティチェッカーは、しばしばベンダーのモデル仕様に過度に反抗し、不平を言う。 この研究は、ガーディアン・アズ・ア・アドバイザ(GaaA)というソフトゲーティングパイプラインを導入し、保護者がバイナリリスクラベルを予測し、このアドバイスを元のクエリに再推論する。 全体として、GaaAはモデル仕様に従うようモデルに指示し、過度な拒絶を減らしながら安全性を維持している。
  論文  参考訳（メタデータ） (2026-04-08T23:47:29Z)
• Decision-Aware Trust Signal Alignment for SOC Alert Triage [0.0]
  本稿では,SOC警告トリアージの信頼信号対応方式を提案する。 このフレームワークは、調整済みの信頼性、軽量不確実性、そしてコストに敏感な決定しきい値をコヒーレントな決定支持層に組み合わせている。 信頼度が不一致な表示によって偽陰性が大幅に増幅されるのに対し、コスト重み付き損失は決定整合信頼信号を持つモデル間での桁違いに減少することを示す。
  論文  参考訳（メタデータ） (2026-01-08T01:41:54Z)
• Guarding the Meaning: Self-Supervised Training for Semantic Robustness in Guard Models [11.679845732117116]
  ガードモデルのセマンティックロバスト性を改善するための自己教師型フレームワークを提案する。 提案手法では,パラフレーズ間の意味的変動を58%削減し,ベンチマークの精度を平均2.5%向上し,スタイリスティックなバリエーションに一般化する。
  論文  参考訳（メタデータ） (2025-11-06T14:15:06Z)
• Confidential Guardian: Cryptographically Prohibiting the Abuse of Model Abstention [65.47632669243657]
  不正直な機関は、不確実性の観点からサービスを差別または不正に否定する機構を利用することができる。 我々は、ミラージュと呼ばれる不確実性誘導攻撃を導入することで、この脅威の実践性を実証する。 本研究では,参照データセット上のキャリブレーションメトリクスを分析し,人工的に抑制された信頼度を検出するフレームワークであるConfidential Guardianを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:47:50Z)
• On Calibration of LLM-based Guard Models for Reliable Content Moderation [27.611237252584402]
  大規模言語モデル(LLM)は、有害なコンテンツを生成する可能性や、ガードレールを避けようとするユーザによって、重大なリスクを負う。 既存の研究では、脅威LSMの入力と出力を適度にするためのLLMベースのガードモデルが開発されている。 しかし、これらのガードモデルの信頼性と校正には限定的な注意が払われている。
  論文  参考訳（メタデータ） (2024-10-14T12:04:06Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。