論文の概要: A Safe Prototype Is Not a Safety Direction: Reference Dependence and Prompt Confounds in Response-Safety Embeddings

• arxiv url: http://arxiv.org/abs/2610.01801v1
• Date: Thu, 01 Oct 2026 14:44:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.198712
• Title: A Safe Prototype Is Not a Safety Direction: Reference Dependence and Prompt Confounds in Response-Safety Embeddings
• Title（参考訳）: 安全なプロトタイプは安全方向ではない:レスポンスセーフな埋め込みにおける参照依存性とプロンプトコンファウンド
• Abstract要約: 応答安全性は、既知の応答の平均埋め込みとコサイン類似性によって評価できる。 我々は,人ラベル付きコーパスと陪審ラベル付きソースコントロールの2つについて,ルールを監査する。 完全にラベル付けされていないホールトアウト参照は、参照されたランキングのほとんどを回復するが、プールの5%が安全でない場合、はるかに少ない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can response safety be scored by cosine similarity to the mean embedding of known-safe responses? A recent sleeper-agent detector proposes exactly this score, yet the raw positive-centroid rule is not identified: positive observations locate the safe class relative to an encoder origin, but do not determine which direction separates safe from unsafe responses. We audit the rule on two prompt-controlled, human-labeled corpora and one auxiliary jury-labeled source control, using four frozen encoders and prompt-grouped splits. On the human-labeled corpora the safe prototype reaches ROC-AUC 0.457-0.545, with two cells significantly below chance and one above, while an explicit safe-minus-unsafe reference reaches 0.588-0.738 on the same embeddings; on the jury control the prototype is inverted (0.358-0.405) and the reference reaches 0.754-0.793. At validation-calibrated 5% false-safe thresholds, the reference accepts more safe responses on PKU-SafeRLHF (0.153-0.263 versus 0.039-0.061 across encoders) and Aegis (0.189-0.291 versus 0.004-0.045), but not reliably on BeaverTails. A fully unlabeled held-out reference recovers part to most of the referenced ranking, much less when only 5% of the pool is unsafe, whereas 80-634 labeled unsafe responses recover most of it. Prompt-only ablations show that prompt-label composition can inflate uncontrolled evaluations. This is a bounded result about a raw positive centroid, not all one-class methods or safety-specialized guards. A class mean is a location, not necessarily a safety direction; a declared reference with enough unsafe mass identifies orientation.
• Abstract（参考訳）: 応答安全性は、既知の応答の平均埋め込みとコサイン類似性によって評価できるか? 正の観測では、エンコーダの起点と相対的に安全なクラスを特定するが、どの方向が安全でない応答から安全な方向を区別するかは決定できない。 我々は,凍結エンコーダと急速グループ分割を用いて,ヒトラベル付きコーパスと補助陪審ラベル付きソースコントロールの2つについて,ルールを監査した。 人ラベルコーパスでは、安全なプロトタイプはROC-AUC 0.457-0.545に到達し、2つの細胞はチャンスと上の1つを大きく下回るが、明示的な安全でない参照は同じ埋め込み上で0.588-0.738に到達し、陪審員の制御では、プロトタイプは反転(0.358-0.405)され、参照は0.754-0.793に達する。 PKU-SafeRLHF(エンコーダ間で0.153-0.263対0.039-0.061対0.004-0.045)とAegis(0.189-0.291対0.004-0.045)では安全性が高いが、BeaverTailsでは確実ではない。 完全にラベル付けされていないホールトアウト参照は、参照されたランキングの大部分を回復するが、プールの5%しか安全でない場合よりもはるかに少ないが、80-634ラベル付きアンセーフ応答は、そのほとんどを回復する。 プロンプトのみのアブレーションは、プロンプトラベルの組成が制御されていない評価をインフレーションできることを示している。 これは生の正のセントロイドに関する有界な結果であり、すべての一級メソッドや安全特化ガードではない。 クラス平均は位置であり、必ずしも安全方向ではない。

関連論文リスト

• ShieldCLIP: Selective Safety Alignment for Harmful Content Mitigation in Multimodal Foundation Models [52.00294001406555]
  ShieldCLIPは、各モードの観測された安全性状態に、安全アライメントを条件付けるためのフレームワークである。 ViSUv2は、578のコンセプトと28のカテゴリにわたる独立したモダリティごとの安全ラベルを持つデータセットである。 ShieldCLIPは、従来型の安全対応エンコーダと強力な緩和ベースラインよりも、有害な出力を一貫して削減する。
  論文  参考訳（メタデータ） (2026-09-30T13:14:56Z)
• Single Canonical Prompts Underestimate LLM Safety's Surface-Form Sensitivity [2.3216115061903415]
  私たちは安全のためにこれをインスタンス化し、金のラベルのないハイテイクな設定で、平均的な方向に向かっています。 370種の種 x 5 の表面が x 5 モデルを形成する場合、単一の変換が一様で最も危険である。 フォーム間の安全でない結果の結合は、3.3-12.9 pp の最悪の単一形式でさえも超える。
  論文  参考訳（メタデータ） (2026-08-01T22:28:31Z)
• aipsy-judge: A Specialized, Psychologist-Corrected Local Judge for the Psychological Safety of Conversational AI [0.0]
  aipsy-benchを使って、完全にクロスクロスしたコンピテンススタディを実行します。 我々は、測定値当たりの心理学的補正対象を、小さく凍結した局所的なモデルに蒸留する。 Aipsy-judge-1.0は、修正対象を合成基材よりも良く追跡する。
  論文  参考訳（メタデータ） (2026-07-13T23:11:07Z)
• RAS: Measuring LLM Safety Through Refusal Alignment [7.0274619825425395]
  大規模言語モデル(LLM)の安全性評価は、安全でないプロンプトやジェイルブレイクプロンプトでモデルに問い合わせることが一般的である。 生成した回答ではなく内部表現から安全性を測定するホワイトボックス評価手法である*SafeVec*を提案する。
  論文  参考訳（メタデータ） (2026-06-24T12:19:40Z)
• Do Models Share Safety Representations? Cross-Model Steering for Safe Visual Generation [52.122731171289665]
  クロスモデル安全ステアリングのための最初のフレームワークを紹介する。 私たちのパイプラインは、ターゲット側の安全でないデータにアクセスしません。 多様なソース・ターゲット・モデル・ペア間のテキスト・ツー・イメージとテキスト・ツー・ビデオ生成におけるアプローチを評価する。
  論文  参考訳（メタデータ） (2026-06-03T18:00:04Z)
• Ablating Safety: Mechanisms for Removing Alignment in Language Models for Security Applications [3.93181912653522]
  安全に配慮した言語モデルは、言葉が誤用に似ているサイバーセキュリティ要求を拒否することが多い。 これはセキュリティ評価を曖昧なものにする: 失敗した答えは、能力の欠如や、政治介入の拒絶を反映しているかもしれない。 我々は, 拒否, 試行率, 検証済みセキュリティ成功, 一般能力維持, 不安定性, スコープ外不安全コンプライアンスをSecurity-ARで評価した。
  論文  参考訳（メタデータ） (2026-05-17T12:18:20Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• UnsafeChain: Enhancing Reasoning Model Safety via Hard Cases [57.69882799751655]
  さまざまなソースを持つハードプロンプトから構築された安全アライメントデータセットであるUnsafeChainをリリースする。 我々は3つの大きな推論モデル(LRM)を微調整し、それらを最近のSafeChainとSTAR-1と比較する。 UnsafeChainは、1Kサブセットのマッチングやベースラインのパフォーマンスを越えながら、従来よりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2025-07-29T10:08:52Z)
• Safe Vision-Language Models via Unsafe Weights Manipulation [75.04426753720551]
  我々は、異なるレベルの粒度で安全性を評価する新しい指標セットであるSafe-Groundを導入し、安全性の評価を見直した。 我々は異なる方向を採り、トレーニングなしでモデルをより安全にできるかどうかを探り、Unsafe Weights Manipulation (UWM)を導入します。 UWMは、セーフとアンセーフのインスタンスのキャリブレーションセットを使用して、セーフとアンセーフのコンテンツのアクティベーションを比較し、後者を処理する上で最も重要なパラメータを特定する。
  論文  参考訳（メタデータ） (2025-03-14T17:00:22Z)
• SafetyAnalyst: Interpretable, Transparent, and Steerable Safety Moderation for AI Behavior [56.10557932893919]
  我々は、新しいAI安全モデレーションフレームワークであるSafetyAnalystを紹介する。 AIの振る舞いを考えると、SafetyAnalystはチェーン・オブ・シークレット・推論を使用してその潜在的な結果を分析する。 効果を28個の完全に解釈可能な重みパラメータを使って有害度スコアに集約する。
  論文  参考訳（メタデータ） (2024-10-22T03:38:37Z)
• How Safe is Your Safety Metric? Automatic Concatenation Tests for Metric Reliability [9.355471292024061]
  有害性評価基準は、大言語モデルから安全でない応答をフィルタリングすることを目的としている。 個々の有害なプロンプト-レスポンスペアに適用すると、リスクの高いスコアを割り当てることで、それらを安全でないと正しくフラグ付けする。 しかし、同じペアがラベル付けされている場合、メトリクスの決定は予期せず逆転し、組み合わせたコンテンツを低いスコアで安全にラベル付けすることで、有害なテキストがフィルタをバイパスすることができる。 我々は、GPTベースの審査員のような高度な指標を含む複数の安全指標が、この非安全行動を示すことを発見した。
  論文  参考訳（メタデータ） (2024-08-22T09:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。