論文の概要: Regime-Conditional Verification: Correctness Estimation for Adapting and Monitoring Safety Classifiers
- arxiv url: http://arxiv.org/abs/2608.14089v1
- Date: Fri, 14 Aug 2026 08:50:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.331286
- Title: Regime-Conditional Verification: Correctness Estimation for Adapting and Monitoring Safety Classifiers
- Title(参考訳): レジーム・コンディショナル検証:安全分類器の適応と監視のための正当性推定
- Abstract要約: 本稿では,市販の安全分類器に適応する軽量ラッパーであるRegime-Conditional Verification(RCV)について再訓練することなく紹介する。
RCVは、各予測がデプロイ者のポリシーに反する確率を推定し、予測が間違っている可能性があることを選択的に補正する。
- 参考スコア(独自算出の注目度): 20.31457696624296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Safety classifiers deployed with large language models often fail for two reasons: their decisions reflect the policy learned during training rather than the deployer's desired policy, and their performance degrades as deployment traffic evolves. We present Regime-Conditional Verification (RCV), a lightweight wrapper that adapts an off-the-shelf safety classifier without retraining it. RCV estimates, from the classifier's internal representations, the probability that each prediction disagrees with the deployer's policy, and selectively corrects predictions likely to be wrong. The same correctness estimates also provide a label-free signal for detecting distribution shift, enabling a maintenance loop that updates the correctness estimation layer and resorts to classifier fine-tuning only when necessary. Across three off-the-shelf safety classifiers and two benchmark datasets, RCV improves adherence to the deployer's policy in every classifier-dataset combination, catching up to 0.81 of previously missed unsafe content without modifying the underlying classifier. In a deployment study with ten attack campaigns, each a harm category held out of RCV's training, RCV detects every campaign in a dedicated injection panel; in the maintenance census most drift episodes are repaired without updating the classifier, and the fine-tune is reserved for the residual episodes that repair does not restore.
- Abstract(参考訳): 大きな言語モデルでデプロイされる安全分類器は、2つの理由で失敗することが多い。
本稿では,市販の安全分類器に適応する軽量ラッパーであるRegime-Conditional Verification(RCV)について再訓練することなく紹介する。
RCVは、分類器の内部表現から、各予測がデプロイ者のポリシーと矛盾する確率を推定し、予測が間違っている可能性があることを選択的に補正する。
また、同じ正当性推定は、分布シフトを検出するためのラベルなし信号も提供し、その正当性推定層を更新し、必要に応じて分類器を微調整する保守ループを可能にする。
市販の安全分類器3つとベンチマークデータセット2つにまたがって、RCVは、すべての分類器とデータセットの組み合わせにおいて、デプロイ者のポリシーの順守を改善し、基礎となる分類器を変更することなく、これまで見逃されていた安全でないコンテンツの最大0.81をキャッチする。
10回の攻撃キャンペーンによる展開調査では、RCVのトレーニングで保持される危害カテゴリーごとに専用の注入パネルで全てのキャンペーンを検出し、保守調査では、ほとんどのドリフトエピソードは分類器を更新せずに修復され、修理ができない残余エピソードには細管が確保される。
関連論文リスト
- SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳(メタデータ) (2026-07-30T16:20:58Z) - Curriculum Learning for Safety Alignment [21.952373934098087]
カリキュラム学習がDPOベースの安全アライメントの堅牢性を向上させることができるかを検討する。
本稿では,選好データを難易度で整理するカリキュラムベースのフレームワークであるStaged-Competenceを提案する。
3つのモデルファミリーで平均的に評価されたStaged-Competenceは、OODの有害反応率を16%、ジェイルブレイク攻撃の成功率を20%削減する。
論文 参考訳(メタデータ) (2026-05-25T20:13:06Z) - Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
マルチモーダル学習は、しばしば低品質データの課題に悩まされる。
コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。
私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
論文 参考訳(メタデータ) (2026-05-05T14:48:52Z) - Continual Calibration: Coverage Can Collapse Before Accuracy in Lifelong LLM Fine-Tuning [6.908972852063454]
不確実性信頼性は、トップ1のパフォーマンスよりも早く、より急激に低下する可能性がある。
逐次微調整モデル上での共形被覆と校正誤差を計測し,これを実証的に検討する。
タスク固有のバッファを保持し,タスク固有の整合しきい値に適合する軽量なポストホックプロシージャであるキャリブレーション・リプレイを提案する。
論文 参考訳(メタデータ) (2026-04-27T03:03:38Z) - Do Not Imitate, Reinforce: Iterative Classification via Belief Refinement [10.794100274863816]
模擬目的を強化学習(RL)に置き換える強化反復分類(RIC)を提案する。
RICは、クラス上の予測分布を反復的に更新するリカレントエージェントをデプロイし、予測品質を段階的に改善するための報酬を受け取る。
画像分類ベンチマークでは、RICは教師付きベースラインの精度とキャリブレーションの改善を照合し、入力間で適応的に計算を割り当てることを学ぶ。
論文 参考訳(メタデータ) (2026-04-23T23:06:48Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳(メタデータ) (2025-10-03T07:01:45Z) - Network Inversion for Uncertainty-Aware Out-of-Distribution Detection [2.6733991338938026]
アウト・オブ・ディストリビューション(OOD)検出と不確実性推定は、安全な機械学習システムを構築する上で重要な要素である。
OOD検出と不確実性推定の両方に対処するために,ネットワークインバージョンと分類器学習を組み合わせた新しいフレームワークを提案する。
我々のアプローチはスケーラブルで解釈可能であり、外部のOODデータセットやポストホックキャリブレーション技術へのアクセスを必要としない。
論文 参考訳(メタデータ) (2025-05-29T13:53:52Z) - Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。
本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-01-17T12:01:56Z) - Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳(メタデータ) (2024-10-13T15:37:11Z) - Risk-based Calibration for Generative Classifiers [4.792851066169872]
リスクベースキャリブレーション(RC)と呼ばれる学習手法を提案する。
RCは、トレーニングサンプルの0-1損失に応じて関節確率分布を調整することにより、生成分類器を反復的に洗練する。
RCは、訓練誤差と一般化誤差の両方の観点から、クローズドフォームの学習手順を著しく上回っている。
論文 参考訳(メタデータ) (2024-09-05T14:06:56Z) - Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。
トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。
不均衡回帰タスクを解くために階層型分類器を構築することを提案する。
不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
論文 参考訳(メタデータ) (2023-10-26T04:54:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。