論文の概要: The Safety Operator: Modulating the Expression of Safety Instructions via Spectral Optimization
- arxiv url: http://arxiv.org/abs/2609.36434v1
- Date: Tue, 29 Sep 2026 00:51:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.080809
- Title: The Safety Operator: Modulating the Expression of Safety Instructions via Spectral Optimization
- Title（参考訳）: 安全オペレーター:スペクトル最適化による安全指示表現の制御
- Abstract要約: 変換言語モデルにおけるコンテキストトークンは、乗法演算子としてモデルの重みに吸収される。
安全命令の設定において、この演算子について検討し、その支配的固有値に影響を与えることは、その命令がいかに強く生成するかを変調することを示す。
有害なクエリに対する安全性の指示を強調しつつ、有害なクエリに対する安全性の指示を抑えながら、トレードオフを抑えるための抑制重み付きコントラスト安全損失を導出する。
- 参考スコア（独自算出の注目度）: 21.569504520898505
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context tokens in a transformer-based language model can be absorbed into the model's weights as a multiplicative operator. We study this operator in the setting of safety instructions and show that influencing its dominant eigenvalue modulates how strongly the instruction shapes generation. We derive a Contrastive Safety Loss with a suppression weight that controls the tradeoff between emphasizing the safety instruction on harmful queries while suppressing it on harmless queries. Varying the suppression weight maps a relationship between the attack success and the over-refusal rates, supporting the hypothesis that the operator's eigenvalue acts as a continuous dial for the instruction's influence. Moreover, this relationship holds relatively independently of how the Safety Loss is parameterized, yielding Pareto-improved safety instructions for appropriate values of suppression weight.
- Abstract（参考訳）: 変換言語モデルにおけるコンテキストトークンは、乗法演算子としてモデルの重みに吸収される。
安全命令の設定において、この演算子について検討し、その支配的固有値に影響を与えることは、その命令がいかに強く生成するかを変調することを示す。
有害なクエリに対する安全性の指示を強調しつつ、有害なクエリに対する安全性の指示を抑えながら、トレードオフを抑えるための抑制重み付きコントラスト安全損失を導出する。
抑制重量の変動は、攻撃の成功と過剰拒絶率の関係をマッピングし、オペレータの固有値が命令の影響の連続ダイアルとして働くという仮説を支持する。
さらに、この関係は、安全損失がパラメータ化される方法とは比較的独立に保たれており、抑制重量の適切な値に対するパレート改善された安全指示を与える。
関連論文リスト
- Beyond Routine Compliance: Cunning Data Cultivates Safety Vigilance in Large Language Models [13.286950013891635]
安全アライメントは、大きな言語モデルに有害な要求を認識し、リスクのある指示を拒否するように教える。
我々は、必ずしも安全に関するものではなく、誤解を招く前提を含む、textbfcunning質問を導入する。
実験により、カニングトレーニングは、分配不能のジェイルブレイク攻撃に対する堅牢性を改善し、その後の安全性の微調整を強化することが示されている。
論文 参考訳（メタデータ） (2026-09-16T11:46:48Z) - Making Your LLMs More Objective: Stabilizing LLM Safety Behavior Across Traits with Trait-Invariant Safety Tuning [2.481804875781114]
適応型大言語モデル(LLM)は,ユーザ要求の内容に基づいて安全行動を示すことが期待されている。
システムプロンプトに割り当てられた異なる特性の下で、同じ要求が実質的に異なる安全性決定を導出できることを示す。
論文 参考訳（メタデータ） (2026-08-12T06:33:55Z) - Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。
推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。
これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
論文 参考訳（メタデータ） (2026-06-09T16:14:27Z) - Selective Safety Steering via Value-Filtered Decoding [54.87935112120107]
大型言語モデル(LLM)は人間の価値観に合わせるように訓練されているが、その世代は安全上の制約に反する可能性がある。
既存のデコード時のステアリング手法は、しばしば不要に介入し、ベースモデルの下で安全であった世代を変更する。
安全でない応答の安全性を向上しつつ、そのような不要な介入を減らすための新しいテストタイムステアリング手法を提案する。
論文 参考訳（メタデータ） (2026-05-14T12:13:08Z) - RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs [5.100622189286672]
下流タスクのための微調整型セーフティアライメント言語モデルは、拒否動作を著しく低下させる可能性がある。
本稿では,モデル適応時の安全関連構造を保存する表現レベルの微調整フレームワークREFUSALGUARDを紹介する。
論文 参考訳（メタデータ） (2026-05-03T14:48:18Z) - Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。
敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。
最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
論文 参考訳（メタデータ） (2026-04-14T06:48:33Z) - Safe Transformer: An Explicit Safety Bit For Interpretable And Controllable Alignment [41.47485992177247]
我々は,事前学習型言語モデルを拡張するモジュール型アプローチであるSafe Transformerを提案する。
安全ビットは、モデルの安全分類の解釈可能な信号と制御可能なスイッチの両方として機能する。
赤チームのベンチマークでは、Safe Transformerがほぼゼロのアタック成功率を達成する。
論文 参考訳（メタデータ） (2026-03-06T02:54:16Z) - Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。
動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。
STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
論文 参考訳（メタデータ） (2025-05-22T18:05:16Z) - Safe Vision-Language Models via Unsafe Weights Manipulation [75.04426753720551]
我々は、異なるレベルの粒度で安全性を評価する新しい指標セットであるSafe-Groundを導入し、安全性の評価を見直した。
我々は異なる方向を採り、トレーニングなしでモデルをより安全にできるかどうかを探り、Unsafe Weights Manipulation (UWM)を導入します。
UWMは、セーフとアンセーフのインスタンスのキャリブレーションセットを使用して、セーフとアンセーフのコンテンツのアクティベーションを比較し、後者を処理する上で最も重要なパラメータを特定する。
論文 参考訳（メタデータ） (2025-03-14T17:00:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。