論文の概要: LookAhead Tuning: Safer Language Models via Partial Answer Previews

• arxiv url: http://arxiv.org/abs/2503.19041v2
• Date: Tue, 23 Sep 2025 17:04:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 16:16:25.578043
• Title: LookAhead Tuning: Safer Language Models via Partial Answer Previews
• Title（参考訳）: LookAhead Tuning: 部分回答プレビューによる言語モデルの検出
• Authors: Kangwei Liu, Mengru Wang, Yujie Luo, Yuan Lin, Mengshu Sun, Lei Liang, Zhiqiang Zhang, Jun Zhou, Bryan Hooi, Shumin Deng,
• Abstract要約: ファインチューニングにより、大きな言語モデルは特定のドメインに適応できるが、しばしば以前に確立された安全アライメントを損なう。 LookAhead Tuningは、微調整時の安全性を維持する軽量で効果的なデータ駆動型アプローチである。
• 参考スコア（独自算出の注目度）: 62.529794567687354
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning enables large language models (LLMs) to adapt to specific domains, but often compromises their previously established safety alignment. To mitigate the degradation of model safety during fine-tuning, we introduce LookAhead Tuning, a lightweight and effective data-driven approach that preserves safety during fine-tuning. The method introduces two simple strategies that modify training data by previewing partial answer prefixes, thereby minimizing perturbations to the model's initial token distributions and maintaining its built-in safety mechanisms. Comprehensive experiments demonstrate that LookAhead Tuning effectively maintains model safety without sacrificing robust performance on downstream tasks. Our findings position LookAhead Tuning as a reliable and efficient solution for the safe and effective adaptation of LLMs.
• Abstract（参考訳）: ファインチューニングにより、大きな言語モデル(LLM)は特定のドメインに適応できるが、しばしば以前に確立された安全アライメントを損なう。 微調整時のモデル安全性の低下を軽減するため,我々は,微調整時の安全性を維持する軽量で効果的なデータ駆動型アプローチであるLookAhead Tuningを紹介した。 本手法では, モデルの初期トークン分布に対する摂動を最小限に抑え, 組込み安全機構の維持を図り, 部分応答プレフィックスをプレビューすることで, トレーニングデータを修正する2つの簡単な方法を提案する。 総合的な実験では、LookAhead Tuningは下流タスクで堅牢なパフォーマンスを犠牲にすることなく、モデル安全性を効果的に維持している。 われわれはLookAhead TuningをLLMの安全かつ効果的な適応のための信頼性と効率的なソリューションとして位置づけた。

関連論文リスト

• Token-level Data Selection for Safe LLM Fine-tuning [15.039068315115372]
  カスタムデータセット上での微調整大型言語モデル(LLM)は、これらのモデルを特定のドメインやアプリケーションに適用するための標準的なアプローチとなっている。 近年の研究では、このような微調整がモデルの安全性を著しく低下させる可能性があることが示されている。 本稿では,安全劣化モデルとユーティリティ指向モデルとの損失差を測定することにより,各トークンの安全性リスクを定量化する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-01T16:52:05Z)
• Self-Guided Defense: Adaptive Safety Alignment for Reasoning Models via Synthesized Guidelines [31.031589383127677]
  本稿では,Synthesized Guideline-based Adaptive Safety Alignment (SGASA)フレームワークを紹介する。 モデル生成安全ガイドラインを内包し、敵のプロンプトに対する堅牢性を強化するモデルの能力を強化する。 複数のデータセットにわたる実験により、SGASAはモデルの安全性を大幅に改善し、適応性とスケーラブルな効率性を検証する。
  論文  参考訳（メタデータ） (2025-11-26T09:44:32Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• Towards Resilient Safety-driven Unlearning for Diffusion Models against Downstream Fine-tuning [24.176983833455413]
  テキスト・ツー・イメージ(T2I)拡散モデルは、印象的な画像生成品質を達成し、パーソナライズされたアプリケーション向けに微調整されている。 これらのモデルはしばしば有毒な事前訓練データから安全でない行動を継承し、安全性の懸念が高まる。 本稿では、下流の微調整に対するレジリエンスを高める安全駆動型アンラーニングフレームワークResAlignを提案する。
  論文  参考訳（メタデータ） (2025-07-22T07:40:16Z)
• Safety-Aligned Weights Are Not Enough: Refusal-Teacher-Guided Finetuning Enhances Safety and Downstream Performance under Harmful Finetuning Attacks [32.73803760326097]
  ファインタニング・アズ・ア・サービス(F: Finetuning-as-a-Service)は、ユーザが自身のデータを使ってLarge Language Models(LLM)をカスタマイズできる機能である。 プライマリワークは、まず安全に整合したモデルを構築し、次にユーザデータ上でモデルを微調整することで、この問題を緩和しようとします。 本稿では,Refusal-Teacher(Ref-Teacher)誘導ファインタニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-09T02:10:51Z)
• Do We Really Need Curated Malicious Data for Safety Alignment in Multi-modal Large Language Models? [83.53005932513155]
  MLLM(Multi-modal large language model)は大きな進歩を遂げているが、その安全性は依然として限られている。 そこで我々は, 単純明快な拒絶文に代えて, 少数の良性命令追従データに対して, MLLMを微調整する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-14T09:03:51Z)
• DELMAN: Dynamic Defense Against Large Language Model Jailbreaking with Model Editing [62.43110639295449]
  大きな言語モデル(LLM)は意思決定に広く適用されているが、そのデプロイはJailbreak攻撃によって脅かされている。 Delmanは、jailbreak攻撃に対する厳密でダイナミックな保護のために、直接モデル編集を活用する新しいアプローチである。 Delman氏は、モデルの有用性を維持しながら有害な振る舞いを中和するために、関連するパラメータの最小セットを直接更新する。
  論文  参考訳（メタデータ） (2025-02-17T10:39:21Z)
• STAIR: Improving Safety Alignment with Introspective Reasoning [44.780098674618614]
  SafeTyアライメントとItrospective Reasoningを統合したフレームワークSTAIRを提案する。 その結果,STAIRは本能的アライメント戦略と比較して,有害なアウトプットを効果的に軽減し,有用性を保っていることがわかった。 テスト時のスケーリングでは、STAIRは一般的なジェイルブレイク攻撃に対して、Claude-3.5に匹敵する安全性能を達成する。
  論文  参考訳（メタデータ） (2025-02-04T15:02:55Z)
• Panacea: Mitigating Harmful Fine-tuning for Large Language Models via Post-fine-tuning Perturbation [58.7395356511539]
  有害な微調整攻撃は、微調整サービスに重大なセキュリティリスクをもたらす。 主流防衛は、後の有害な微調整攻撃がより効果的でないように、モデルを予防接種することを目的としている。 微調整後のモデルに適用可能な適応的摂動を最適化するパナセアを提案する。
  論文  参考訳（メタデータ） (2025-01-30T02:47:09Z)
• Safeguard Fine-Tuned LLMs Through Pre- and Post-Tuning Model Merging [43.44112117935541]
  下流タスクのための細調整された大型言語モデル(LLM)は、安全に整合したLLMの安全性を低下させる。 下流タスク性能を向上しつつ, LLM 固有の安全性を維持する手法を提案する。
  論文  参考訳（メタデータ） (2024-12-27T08:03:22Z)
• NLSR: Neuron-Level Safety Realignment of Large Language Models Against Harmful Fine-Tuning [37.024666077902225]
  ユーザによってアップロードされた悪意のあるデータのごく一部は、微調整プロセスを微妙に操作できるため、アライメントが壊れたモデルになる。 既存の微調整攻撃に対抗する方法は、典型的にはかなりの計算資源を必要とする。 textbfNeuron-textbfLevel textbfSafety textbfRealignmentを提案する。
  論文  参考訳（メタデータ） (2024-12-17T02:59:04Z)
• Model-Editing-Based Jailbreak against Safety-aligned Large Language Models [13.887770576598646]
  大規模言語モデル(LLM)は、先進的な自然言語相互作用を実現することによって、多くの分野を変革してきた。 本稿では,安全フィルタをバイパスする新しいホワイトボックス手法であるターゲットモデル編集(TME)を提案する。 TMEはモデル行列に埋め込まれた安全クリティカルトランスフォーメーション(SCT)を特定し、削除し、悪意のあるクエリが制限をバイパスできるようにする。
  論文  参考訳（メタデータ） (2024-12-11T08:44:15Z)
• Safety Alignment Backfires: Preventing the Re-emergence of Suppressed Concepts in Fine-tuned Text-to-Image Diffusion Models [57.16056181201623]
  微調整されたテキストと画像の拡散モデルは、必然的に安全対策を解除し、有害な概念を再現する。 本報告では,Funice-Tuning LoRAコンポーネントとは別に,安全性の低い適応モジュールをトレーニングする,Modular LoRAと呼ばれる新しいソリューションを提案する。 本手法は,新しいタスクにおけるモデルの性能を損なうことなく,有害なコンテンツの再学習を効果的に防止する。
  論文  参考訳（メタデータ） (2024-11-30T04:37:38Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。