論文の概要: Rethinking LLM Fine-Tuning via Weight Space Reparameterization: Preserving Safety during Downstream Adaptation

• arxiv url: http://arxiv.org/abs/2610.26443v2
• Date: Tue, 20 Oct 2026 05:28:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.351313
• Title: Rethinking LLM Fine-Tuning via Weight Space Reparameterization: Preserving Safety during Downstream Adaptation
• Title（参考訳）: 軽量空間パラメータ化によるLLM微調整の再考:下流適応時の安全性確保
• Abstract要約: 下流タスクでの微調整された大きな言語モデル(LLM)は、以前整列された安全性の振る舞いを弱めることが多い。 既存のアプローチでは、安全関連ニューロン、レイヤを特定したり、元のパラメータ空間の方向を更新したりすることで、この問題を緩和しようと試みている。 本稿では、下流適応時の安全性を保った軽量空間Reパラメータ化に基づく微調整フレームワークWSR-Tuneを提案する。
• 参考スコア（独自算出の注目度）: 14.011871529432844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models (LLMs) on downstream tasks often weakens their previously aligned safety behavior, creating an inherent trade-off between task adaptation and safety preservation. Existing approaches attempt to mitigate this issue by identifying safety-relevant neurons, layers, or update directions in the original parameter space. However, safety-related information is often distributed across many directions in this space, causing downstream updates to overwrite parameters that encode safety behavior. We propose WSR-Tune, a Weight Space Reparameterization-based fine-tuning framework that preserves safety during downstream adaptation. Our approach constructs a safety-conditioned basis and reparameterizes the weight matrices such that safety-relevant information becomes concentrated in a small subset of directions. We then identify safety-critical directions and freeze them in the reparameterized space, while updating the remaining complementary directions for downstream adaptation. By explicitly structuring the parameter space to disentangle safety and task information, our method reduces interference between objectives and enables simultaneous preservation of safety and improvement in downstream performance. Experimental results show that our method achieves a more favorable trade-off between downstream performance and safety retention, demonstrating its effectiveness for reliable LLM fine-tuning.
• Abstract（参考訳）: 下流タスクの微調整された大型言語モデル(LLM)は、以前整列していた安全性の振る舞いを弱め、タスク適応と安全性の保護の間に固有のトレードオフを生み出す。 既存のアプローチでは、安全関連ニューロン、レイヤを特定したり、元のパラメータ空間の方向を更新したりすることで、この問題を緩和しようと試みている。 しかし、安全関連情報はこの分野の多くの方向に分散することが多く、ダウンストリーム更新によって安全行動をエンコードするパラメータを上書きする。 下流適応時の安全性を保った軽量空間パラメータ化に基づく微調整フレームワークWSR-Tuneを提案する。 提案手法は,安全条件ベースを構築し,安全関連情報が少数の方向に集中するように重み行列を再パラメータ化する。 次に、安全クリティカルな方向を特定し、再パラメータ化された空間で凍結し、残りの相補的な方向を更新して下流適応する。 パラメータ空間を明示的に構成して安全性とタスク情報を分離することにより、目的間の干渉を低減し、安全性の同時維持と下流性能の向上を可能にする。 実験結果から,提案手法は下流性能と安全維持のトレードオフをより良好に達成し,信頼性の高いLDM微調整の有効性を示した。

関連論文リスト

• ASCENT: First-Order Optimal Fine-Tuning with Recalibration for Safety--Utility Co-Enhancement [37.731387936750004]
  改良された微調整は、大規模言語モデル(LLM)の下流ユーティリティを大幅に改善するが、安全性を損なう可能性がある。 既存のセーフティ保存手法は、セーフティ関連パラメータやサブスペースを使用したダウンストリーム更新を制限している。 ASCENTは,1次最適安全対応型周期的キャリブレーションとタスク最適化による安全ユーティリティ協調処理のためのフレームワークである。
  論文  参考訳（メタデータ） (2026-10-06T09:56:55Z)
• LSSF: Safety Alignment for Large Language Models through Low-Rank Safety Subspace Fusion [16.434293020863592]
  大きな言語モデル(LLM)の安全性メカニズムは、有害なコンテンツのないデータセットの微調整でさえも、その安全性能力を損なう可能性があるため、顕著な脆弱性を示す。 LSSF, underline-Rank underlineSafety underlineSubspace underlineFusion。 提案手法は,低ランクプロジェクション行列の構築により,LLMの安全性情報の低ランク特性を利用する。
  論文  参考訳（メタデータ） (2026-01-19T03:59:12Z)
• Understanding and Preserving Safety in Fine-Tuned LLMs [20.821783178639063]
  微調整データが無害であっても、微調整は安全性を著しく低下させる可能性がある。 低ランクな安全部分空間と矛盾する勾配成分を明示的に除去する軽量なアプローチSPFを提案する。 SPFは、ダウンストリームタスクのパフォーマンスを一貫して維持し、敵の微調整シナリオであっても、トレーニング済みのほぼすべての安全アライメントを回復する。
  論文  参考訳（メタデータ） (2026-01-15T07:33:13Z)
• Q-realign: Piggybacking Realignment on Quantization for Safe and Efficient LLM Deployment [55.14890249389052]
  既存の防衛は、安全回復を微調整に埋め込んだり、微調整による修正に先立って微調整に頼ったりしている。 我々は,ポストトレーニング量子化に基づくポストホック防御手法であるtextttQ-realign を提案する。 私たちの仕事は、安全を意識したデプロイメントのための実践的でターンキーなソリューションを提供します。
  論文  参考訳（メタデータ） (2026-01-13T00:07:24Z)
• A Guardrail for Safety Preservation: When Safety-Sensitive Subspace Meets Harmful-Resistant Null-Space [91.99501941169831]
  GuardSpaceは、微調整全体を通して安全アライメントを維持するためのガードレールフレームワークである。 GSM8Kで微調整されたLlama-2-7B-Chatでは、ガードスペースは最先端のAsFTよりも優れている。
  論文  参考訳（メタデータ） (2025-10-16T04:57:53Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• AsFT: Anchoring Safety During LLM Fine-Tuning Within Narrow Safety Basin [38.577959886489076]
  大規模言語モデル(LLM)は、微調整中に安全性のリスクに対して脆弱である。 AsFT(Anchoring Safety in Fine-Tuning)と呼ばれる安全微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-06-10T05:59:48Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• Navigating the Safety Landscape: Measuring Risks in Finetuning Large Language Models [65.06446825020578]
  大規模言語モデル(LLM)が人間の嗜好に合わせて行動し、推論中に有害な行動を防ぐためには、安全性の調整が不可欠である。 我々は, LLMの安全景観をナビゲートすることで, LLMの微調整のリスクを測定することを目的としている。
  論文  参考訳（メタデータ） (2024-05-27T17:31:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。