論文の概要: ProbGuard: Calibrated Safety Risk Estimation from LLM Output Distributions
- arxiv url: http://arxiv.org/abs/2608.10621v1
- Date: Tue, 11 Aug 2026 08:08:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.955395
- Title: ProbGuard: Calibrated Safety Risk Estimation from LLM Output Distributions
- Title（参考訳）: ProbGuard: LLM出力分布の校正安全リスク評価
- Abstract要約: 本稿では,LLM(Large Language Model)の安全性のための,完全確率的アーキテクチャに依存しないガードレールテキストscProbGuardを提案する。
我々は、この安全リスクを連続した生成ダイナミクスの不安全確率として定式化し、モンテカルロサンプリングによりこのリスクを推定する。
textscProbGuardは、9つのモデル--データセットの組み合わせ設定で最高のキャリブレーション性能を達成する。
- 参考スコア（独自算出の注目度）: 18.213303271775793
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent research on Large Language Model (LLM) safety has widely adopted guardrails to identify unsafe LLM outputs. Existing guardrails typically formulate safety assessment as a deterministic classification task, mapping a discrete token sequence to a discrete safety label. However, this paradigm has two limitations: First, safety assessment is inherently an uncertain problem, particularly during the early generation state. Second, relying solely on discrete token sequences discards the rich probabilistic information embedded in the LLM output distribution. To address these limitations, we propose the first completely probabilistic architecture-agnostic guardrail \textsc{ProbGuard} to leverage the LLM early output distributional signals for estimating and calibrating the safety probability, thereby enabling early stopping of unsafe ongoing outputs. Specifically, given an LLM's generated prefix distribution, we formulate the safety risk as the unsafe probability of its continued generation dynamics and estimate this risk by Monte-Carlo sampling. Through post-training on the distributional signals and calibrated safety risk, \textsc{ProbGuard} achieves the best calibration performance across all nine model--dataset combination settings, reducing the average Brier score and ECE by 79.6\% and 71.9\%, respectively, over the best baseline. \textsc{ProbGuard} further limits the attack success rate to at most 1\% across six representative jailbreak attacks after observing the LLM early output distributions from only the first ten decoding steps.
- Abstract（参考訳）: 大規模言語モデル(LLM)の安全性に関する最近の研究は、安全でないLLM出力を特定するためにガードレールを広く採用している。
既存のガードレールは通常、決定論的分類タスクとして安全評価を定式化し、離散トークンシーケンスを離散安全ラベルにマッピングする。
しかし、このパラダイムには2つの制限がある。第一に、安全評価は本質的に不確実な問題である。
第二に、離散トークンシーケンスのみに依存することは、LLM出力分布に埋め込まれたリッチ確率情報を破棄する。
これらの制約に対処するために,LLMの初期出力分布信号を利用して安全確率を推定・校正し,安全でない出力を早期に停止する,完全確率的アーキテクチャに依存しないガードレールを初めて提案する。
具体的には, LLMが生成するプレフィックス分布を考慮し, 連続生成ダイナミクスの不安全確率として安全リスクを定式化し, このリスクをモンテカルロサンプリングにより推定する。
分散信号のポストトレーニングと校正安全リスクにより、 \textsc{ProbGuard} は、9つのモデル-データセットの組み合わせ設定で最高の校正性能を達成し、平均ブライアスコアとCEをそれぞれ79.6\%、71.9\%削減する。
さらに、LLMの初期出力分布を最初の10ステップのみから観察した後、6つの代表的なジェイルブレイク攻撃に対して、攻撃成功率を少なくとも1\%に制限する。
関連論文リスト
- From Detection to Refusal: Safer LLMs via Circuit-Guided Weight Scaling [23.223636694641502]
大規模言語モデル(LLM)は、敵対的プロンプトの下で安全でないコンテンツを生成するのに脆弱である。
機械的解釈可能性の観点から安全性を研究し、多段*安全回路を特徴付ける*
我々は、上流のハーモフル検出ヘッドの抑制が下流の拒絶動作を妨害し、安全ニューロンがこの相互作用を媒介することを示した。
論文 参考訳（メタデータ） (2026-08-30T08:01:42Z) - CauTion: Knowing When to Trust LLMs for Ensemble Causal Discovery [51.07538881798502]
大規模言語モデル(LLM)は、統計的推論を補完する将来的なドメイン知識の源を提供する。
我々は、LLMドメイン知識を統計的因果探索アルゴリズムのアンサンブルに確実に統合するフレームワークであるCauTionを提案する。
CauTionは、データ中心とLLM拡張ベースラインの両方を一貫して上回る。
論文 参考訳（メタデータ） (2026-06-02T13:07:43Z) - SafeSeek: Universal Attribution of Safety Circuits in Language Models [49.59795225914787]
我々は,統合された安全解釈可能性フレームワークである ourmethod を提案する。
提案手法は,大規模言語モデルにおける機能的完全安全回路を同定する。
LLMの安全性には2つの重要なシナリオがある。
論文 参考訳（メタデータ） (2026-03-24T14:32:53Z) - Token-level Data Selection for Safe LLM Fine-tuning [15.039068315115372]
カスタムデータセット上での微調整大型言語モデル(LLM)は、これらのモデルを特定のドメインやアプリケーションに適用するための標準的なアプローチとなっている。
近年の研究では、このような微調整がモデルの安全性を著しく低下させる可能性があることが示されている。
本稿では,安全劣化モデルとユーティリティ指向モデルとの損失差を測定することにより,各トークンの安全性リスクを定量化する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-01T16:52:05Z) - Jailbreaking Attacks vs. Content Safety Filters: How Far Are We in the LLM Safety Arms Race? [35.085164240720815]
大規模言語モデル(LLM)を対象としたジェイルブレイク攻撃の最初の体系的評価について述べる。
以上の結果から,これらの攻撃の実際的成功を事前評価が過大評価した可能性が示唆された。
保護とユーザエクスペリエンスをさらに最適化するために、リコールと精度のバランスを改善する余地は残っています。
論文 参考訳（メタデータ） (2025-12-30T07:36:19Z) - ProGuard: Towards Proactive Multimodal Safeguard [48.89789547707647]
ProGuardは視覚言語プロアクティブガードであり、アウト・オブ・ディストリビューション(OOD)の安全性リスクを特定し記述する。
まず,2次安全ラベルとリスクカテゴリの両方を付加した87Kサンプルのモダリティバランスデータセットを構築した。
次に、強化学習を通して視覚言語ベースモデルを純粋に訓練し、効率的かつ簡潔な推論を実現する。
論文 参考訳（メタデータ） (2025-12-29T16:13:23Z) - Distillability of LLM Security Logic: Predicting Attack Success Rate of Outline Filling Attack via Ranking Regression [10.64873345204336]
敵のプロンプトの攻撃成功率(ASR)を予測するために設計された軽量モデルはまだ未定である。
本稿では,モデルのセキュリティ境界の厳密なサンプリングを実現するために,改良されたアウトラインフィリング攻撃を組み込んだ新しいフレームワークを提案する。
実験結果から,提案手法は平均長値の相対的ランク付けにおいて,91.1%の精度が得られることがわかった。
論文 参考訳（メタデータ） (2025-11-27T02:55:31Z) - Black-Box Guardrail Reverse-engineering Attack [12.937652779951156]
ブラックボックスLLMガードレールのリバースエンジニアリング攻撃に関する最初の研究を行った。
強化学習に基づくフレームワークであるガードレールリバースエンジニアリングアタック(GRA)を提案する。
GRAは、APIコストが85ドル未満で、規則マッチングレートが0.92を超えている。
論文 参考訳（メタデータ） (2025-11-06T09:24:49Z) - Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。
既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。
我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
論文 参考訳（メタデータ） (2025-10-10T18:42:32Z) - Saffron-1: Safety Inference Scaling [69.61130284742353]
SAFFRONは、安全保証のために明示的に調整された、新しい推論スケーリングパラダイムである。
我々のアプローチの中心は、要求される報酬モデルの評価を著しく削減する乗算報酬モデル(MRM)の導入である。
トレーニング済みの多機能報酬モデル(Saffron-1)とそれに伴うトークンレベルの安全報酬データセット(Safety4M)を公開します。
論文 参考訳（メタデータ） (2025-06-06T18:05:45Z) - Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。
本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。
攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文 参考訳（メタデータ） (2024-07-15T23:41:11Z) - Uncovering Safety Risks of Large Language Models through Concept Activation Vector [13.804245297233454]
大規模言語モデル(LLM)に対する攻撃を誘導する安全概念活性化ベクトル(SCAV)フレームワークについて紹介する。
そこで我々は,攻撃プロンプトと埋め込みレベルの攻撃の両方を生成できるSCAV誘導攻撃法を開発した。
本手法は,トレーニングデータが少なくなるとともに,攻撃成功率と応答品質を著しく向上させる。
論文 参考訳（メタデータ） (2024-04-18T09:46:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。