論文の概要: Safety Subspaces are Not Distinct: A Fine-Tuning Case Study

• arxiv url: http://arxiv.org/abs/2505.14185v1
• Date: Tue, 20 May 2025 10:41:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.073392
• Title: Safety Subspaces are Not Distinct: A Fine-Tuning Case Study
• Title（参考訳）: 安全部分空間は別物ではない - 微調整ケーススタディ
• Authors: Kaustubh Ponkshe, Shaan Shah, Raghav Singhal, Praneeth Vepakomma,
• Abstract要約: 安全関連行動が特定の部分空間に集中しているかを検討する。 安全を選択的に支配する部分空間の証拠は見つからない。 これは、サブスペースベースの防御が基本的な制限に直面していることを示唆している。
• 参考スコア（独自算出の注目度）: 4.724646466332421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) rely on safety alignment to produce socially acceptable responses. This is typically achieved through instruction tuning and reinforcement learning from human feedback. However, this alignment is known to be brittle: further fine-tuning, even on benign or lightly contaminated data, can degrade safety and reintroduce harmful behaviors. A growing body of work suggests that alignment may correspond to identifiable geometric directions in weight space, forming subspaces that could, in principle, be isolated or preserved to defend against misalignment. In this work, we conduct a comprehensive empirical study of this geometric perspective. We examine whether safety-relevant behavior is concentrated in specific subspaces, whether it can be separated from general-purpose learning, and whether harmfulness arises from distinguishable patterns in internal representations. Across both parameter and activation space, our findings are consistent: subspaces that amplify safe behaviors also amplify unsafe ones, and prompts with different safety implications activate overlapping representations. We find no evidence of a subspace that selectively governs safety. These results challenge the assumption that alignment is geometrically localized. Rather than residing in distinct directions, safety appears to emerge from entangled, high-impact components of the model's broader learning dynamics. This suggests that subspace-based defenses may face fundamental limitations and underscores the need for alternative strategies to preserve alignment under continued training. We corroborate these findings through multiple experiments on five open-source LLMs. Our code is publicly available at: https://github.com/CERT-Lab/safety-subspaces.
• Abstract（参考訳）: 大規模言語モデル(LLM)は社会的に許容できる応答を生成するために安全アライメントに依存している。 これは典型的には、人間のフィードバックから指導のチューニングと強化学習によって達成される。 しかし、このアライメントは脆弱であることが知られており、さらに細かい調整は、良質なデータや軽い汚染データでも、安全性を低下させ、有害な振る舞いを再導入することができる。 増大する研究の実体は、アライメントは重量空間における識別可能な幾何学的方向に対応し、原則として、不整合から守るために孤立または保存される部分空間を形成することを示唆している。 本研究では,この幾何学的視点を包括的に研究する。 安全関連行動が特定の部分空間に集中しているか,汎用学習から分離できるか,および内部表現における識別可能なパターンから有害性が生じるかを検討する。 安全な動作を増幅する部分空間は、安全でない動作も増幅し、異なる安全性が重なり合う表現を活性化させる。 安全を選択的に支配する部分空間の証拠は見つからない。 これらの結果は、アライメントが幾何学的に局所化されているという仮定に挑戦する。 異なる方向を移動するのではなく、モデルのより広い学習ダイナミクスの絡み合った、高インパクトなコンポーネントから安全性が現れるように見える。 このことは、サブスペースベースの防衛が基本的な制限に直面し、継続的な訓練の下でアライメントを維持するための代替戦略の必要性を強調していることを示唆している。 本研究は,5つのオープンソース LLM に関する複数の実験を通して,これらの知見を裏付けるものである。 私たちのコードは、https://github.com/CERT-Lab/safety-subspaces.comで公開されています。

関連論文リスト

• The Hidden Dimensions of LLM Alignment: A Multi-Dimensional Safety Analysis [20.522881564776434]
  安全に整合した行動は多次元方向で共同制御されている。 空間内の方向を研究することで、まず支配的な方向がモデルの拒絶行動を支配することが分かる。 次に、異なる方向が支配的な方向をいかに促進または抑制するかを測定する。
  論文  参考訳（メタデータ） (2025-02-13T06:39:22Z)
• Superficial Safety Alignment Hypothesis [8.297367440457508]
  本稿では,安全アライメントが安全でないモデルに正しい推論方向を選択するよう教えるべきであるとする,表向きの安全アライメント仮説(SSAH)を提案する。 安全に整合した大言語モデル(LLM)における属性クリティカルな4つのコンポーネントを同定する。 本研究は,特定の安全クリティカル成分の凍結を微調整中に行うことにより,新しい作業に適応しつつ,その安全性特性を維持できることを示した。
  論文  参考訳（メタデータ） (2024-10-07T19:53:35Z)
• Evaluating Defences against Unsafe Feedback in RLHF [26.872318173182414]
  本稿では、強化学習による安全でないフィードバックからの学習について考察する。 安全に配慮したLLMは有害なテキストを生成することで、安全でない行動空間を容易に探索できることがわかった。 この脆弱性から保護するために、我々は、有害な微調整の防御を「単純」と「明示」の両方に適応させる。
  論文  参考訳（メタデータ） (2024-09-19T17:10:34Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Safety Alignment Should Be Made More Than Just a Few Tokens Deep [48.823599143711235]
  現在のLarge Language Models(LLM)の安全性アライメントは脆弱である。 比較的単純な攻撃、あるいは微調整さえも、ジェイルブレイク対応のモデルを作ることができる。 最初の数個のトークン以上の安全性アライメントの強化は、一般的なエクスプロイトに対するロバスト性を大幅に向上させる可能性があることを、私たちは示しています。
  論文  参考訳（メタデータ） (2024-06-10T00:35:23Z)
• Subspace Defense: Discarding Adversarial Perturbations by Learning a Subspace for Clean Signals [52.123343364599094]
  敵の攻撃は、正常な例に基づいて慎重に摂動を行い、ディープニューラルネットワーク(DNN)を騙す まず,低次元線形部分空間において,クリーン信号と逆方向の摂動の特徴が冗長であり,重なりが最小であることを示す。 これにより、DNNは、摂動が破棄されている間、クリーン信号の特徴のみが存在する部分空間を学習することができる。
  論文  参考訳（メタデータ） (2024-03-24T14:35:44Z)
• Provable Safe Reinforcement Learning with Binary Feedback [62.257383728544006]
  状態, アクションペアの安全性に対するバイナリフィードバックを提供するオフラインオラクルへのアクセスを与えられた場合, 証明可能な安全なRLの問題を考える。 我々は,その設定に対してブラックボックスPAC RLアルゴリズムに与えられた任意のMDP設定に適用可能な,新しいメタアルゴリズムSABREを提案する。
  論文  参考訳（メタデータ） (2022-10-26T05:37:51Z)
• Fail-Safe Adversarial Generative Imitation Learning [9.594432031144716]
  本稿では, 安全な生成連続ポリシー, エンドツーエンドの生成逆トレーニング, 最悪の場合の安全性保証を, クローズドフォームの確率密度/勾配で実現する安全層を提案する。 安全層は、すべてのアクションを安全なアクションの集合にマッピングし、変量式と密度の測定値の加算率を使用する。 実世界のドライバーのインタラクションデータに関する実験では,提案手法のトラクタビリティ,安全性,模倣性能を実証的に実証した。
  論文  参考訳（メタデータ） (2022-03-03T13:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。