Fugu-MT 論文翻訳(概要): TRACE: Trajectory-Based Safety Patch Learning for LLM Post-Training Realignment

論文の概要: TRACE: Trajectory-Based Safety Patch Learning for LLM Post-Training Realignment

arxiv url: http://arxiv.org/abs/2607.16242v1
Date: Fri, 26 Jun 2026 03:29:59 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-27 00:46:13.052584
Title: TRACE: Trajectory-Based Safety Patch Learning for LLM Post-Training Realignment
Title（参考訳）: TRACE:LLM後の認識のための軌道ベース安全パッチ学習
Abstract要約: ファインチューニング・アズ・ア・サービスプラットフォームでは、ユーザーはカスタマイズされたタスクで大きな言語モデルをトレーニングできる。実際には、サービスプロバイダは、完全なアライメントを再実行することなく、モデルの安全性を回復する必要があります。 trajectory-based safety patch learning frameworkであるTRACEを提案する。
参考スコア（独自算出の注目度）: 27.81709722999727
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Fine-Tuning-as-a-Service (FTaaS) platforms let users train large language models (LLMs) on customized tasks, but this pipeline could erode models' safety alignment. In practice, service providers need to recover models' safety without re-running full alignment, or destroying the utility gained from customized tasks. A line of existing work refers to model parameter merging, which adds a safety patch on the fine-tuned model parameters to shift the model away from unsafe tendencies. However, this merging-based paradigm is fundamentally bottlenecked by task-safety update entanglement: downstream task updates and the safety patch often overlap in their dominant directions, so the merge strength is intrinsically hard to calibrate. If the safety vector is scaled too weakly, harmful components could still dominate, preventing the model from returning to a safe region; if it is scaled too aggressively, it suppresses task-relevant directions and degrades utility. To solve this problem, we shift the focus of merging-based methods from designing online merging operators to offline patch learning, and seek a safety patch that minimally interferes with task-relevant directions while retaining decisive control over unsafe behaviors. We propose TRACE, a trajectory-based safety patch learning framework that (i) simulates harmful tuning trajectories to generate progressively corrupted states, and (ii) optimizes a plug-in patch to recover safety while maintaining utility across varying corrupted base states. Across six benchmarks and two models, TRACE consistently dominates the safety-utility frontier. TRACE reaches nearly 100% safety on all settings, while maintaining comparable utility to the undefended fine-tuned model.
Abstract（参考訳）: FTaaS(Fun-Tuning-as-a-Service)プラットフォームでは、カスタマイズされたタスクで大きな言語モデル(LLM)をトレーニングすることができるが、このパイプラインはモデルの安全性を損なう可能性がある。実際には、サービスプロバイダは、完全なアライメントを再実行したり、カスタマイズされたタスクから得られるユーティリティを破壊することなく、モデルの安全性を回復する必要があります。既存の作業の行はモデルパラメータのマージを指しており、これはモデルパラメータを安全でない傾向から切り離すために、微調整されたモデルパラメータに安全パッチを追加します。しかし、このマージベースのパラダイムは、基本的にタスクセーフティ更新の絡み合いによってボトルネックとなる。ダウンストリームタスク更新とセーフパッチは、その支配的な方向に重複することが多いため、マージ強度は本質的に調整が困難である。安全ベクトルが弱すぎると、有害なコンポーネントが依然として支配的になり、モデルが安全な領域に戻るのを防ぐ。この問題を解決するために、オンラインマージオペレータの設計からオフラインパッチ学習へのマージ手法の焦点をシフトし、安全でない動作に対する決定的な制御を維持しつつ、タスク関連方向を最小限に妨害する安全パッチを求める。 trajectory-based safety patch learning frameworkであるTRACEを提案する。一有害な調律軌道をシミュレートして、徐々に腐敗した状態を発生させ、 (ii) 各種の劣化したベース状態における実用性を維持しつつ、安全を回復するためのプラグインパッチを最適化する。 6つのベンチマークと2つのモデルで、TRACEは一貫して安全ユーティリティフロンティアを支配している。 TRACEはすべての設定でほぼ100%の安全性を保ちながら、未修正の細調整モデルと同等の実用性を維持している。

関連論文リスト

Do Models Share Safety Representations? Cross-Model Steering for Safe Visual Generation [52.122731171289665]
クロスモデル安全ステアリングのための最初のフレームワークを紹介する。私たちのパイプラインは、ターゲット側の安全でないデータにアクセスしません。多様なソース・ターゲット・モデル・ペア間のテキスト・ツー・イメージとテキスト・ツー・ビデオ生成におけるアプローチを評価する。
論文参考訳（メタデータ） (2026-06-03T18:00:04Z)
SafeGene: Reusable Adapters for Transferable Safety Alignment [31.247158830484604]
マルチタスク再利用のための再利用可能な安全適応モジュールであるSafeGeneを提案する。セーフジェネレーション強化モデルでは、下流性能を維持しながら、有害応答率を低減できることが示されている。
論文参考訳（メタデータ） (2026-06-02T14:51:14Z)
RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs [5.100622189286672]
下流タスクのための微調整型セーフティアライメント言語モデルは、拒否動作を著しく低下させる可能性がある。本稿では,モデル適応時の安全関連構造を保存する表現レベルの微調整フレームワークREFUSALGUARDを紹介する。
論文参考訳（メタデータ） (2026-05-03T14:48:18Z)
Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection [52.551864761088574]
大規模言語モデル(LLM)は、しばしばアライメント税を課す。この税は、主に連続的な順序で学習スタイルを忘れることから生じると我々は主張する。我々は, 塑性と安定性のバランスをとるために, OGPSA (Orthogonal Gradient Projection for Safety Alignment) を提案する。
論文参考訳（メタデータ） (2026-02-08T09:53:46Z)
Q-realign: Piggybacking Realignment on Quantization for Safe and Efficient LLM Deployment [55.14890249389052]
既存の防衛は、安全回復を微調整に埋め込んだり、微調整による修正に先立って微調整に頼ったりしている。我々は,ポストトレーニング量子化に基づくポストホック防御手法であるtextttQ-realign を提案する。私たちの仕事は、安全を意識したデプロイメントのための実践的でターンキーなソリューションを提供します。
論文参考訳（メタデータ） (2026-01-13T00:07:24Z)
Safeguarding LLM Fine-tuning via Push-Pull Distributional Alignment [45.772620696660034]
安全最適輸送(SOT)は、インスタンスレベルのフィルタリング課題から最適輸送(OT)に基づく分散レベルのアライメントタスクへ安全な微調整を再構成する新しいフレームワークである。 SOTは、下流の分布を信頼された安全なアンカーへ積極的に引き寄せ、同時に一般的な有害な参照から引き離すことで、サンプルの重要性を優先する。さまざまなモデルファミリやドメインにわたる実験により、SOTは、競争力のある下流のパフォーマンスを維持しながら、モデルの安全性を大幅に向上することを示した。
論文参考訳（メタデータ） (2026-01-12T04:48:02Z)
UpSafe$^\circ$C: Upcycling for Controllable Safety in Large Language Models [67.91151588917396]
大規模言語モデル(LLM)は、幅広いタスクで顕著な進歩を遂げているが、有害なコンテンツ生成やジェイルブレイク攻撃といった安全リスクに弱いままである。安全に配慮したリサイクルによるLCMの安全性向上のための統合フレームワークであるUpSafe$circ$Cを提案する。この結果から, 静的アライメントから動的, モジュール, 推論対応制御への移行という, LLMの安全性の新たな方向性が明らかになった。
論文参考訳（メタデータ） (2025-10-02T16:43:33Z)
Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
論文参考訳（メタデータ） (2025-05-22T18:05:16Z)
What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。これを用いて,3つのよく知られた安全微調整手法について検討する。
論文参考訳（メタデータ） (2024-07-14T16:12:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。