論文の概要: Fine-tuning Aligned Language Models Compromises Safety, Even When Users
Do Not Intend To!
- arxiv url: http://arxiv.org/abs/2310.03693v1
- Date: Thu, 5 Oct 2023 17:12:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 15:10:59.460803
- Title: Fine-tuning Aligned Language Models Compromises Safety, Even When Users
Do Not Intend To!
- Title(参考訳): 微調整された調整された言語モデルは、ユーザが意図していない場合でも、安全性を損ないます!
- Authors: Xiangyu Qi, Yi Zeng, Tinghao Xie, Pin-Yu Chen, Ruoxi Jia, Prateek
Mittal, Peter Henderson
- Abstract要約: LLMの安全性は微調整によって損なわれる可能性がある。
我々は、GPT-3.5の安全ガードレールを10種類の例で微調整することで、脱獄した。
我々は、協調LLMのカスタム微調整のための安全プロトコルの強化に向けたさらなる研究を提唱する。
- 参考スコア(独自算出の注目度): 88.90694413503614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optimizing large language models (LLMs) for downstream use cases often
involves the customization of pre-trained LLMs through further fine-tuning.
Meta's open release of Llama models and OpenAI's APIs for fine-tuning GPT-3.5
Turbo on custom datasets also encourage this practice. But, what are the safety
costs associated with such custom fine-tuning? We note that while existing
safety alignment infrastructures can restrict harmful behaviors of LLMs at
inference time, they do not cover safety risks when fine-tuning privileges are
extended to end-users. Our red teaming studies find that the safety alignment
of LLMs can be compromised by fine-tuning with only a few adversarially
designed training examples. For instance, we jailbreak GPT-3.5 Turbo's safety
guardrails by fine-tuning it on only 10 such examples at a cost of less than
$0.20 via OpenAI's APIs, making the model responsive to nearly any harmful
instructions. Disconcertingly, our research also reveals that, even without
malicious intent, simply fine-tuning with benign and commonly used datasets can
also inadvertently degrade the safety alignment of LLMs, though to a lesser
extent. These findings suggest that fine-tuning aligned LLMs introduces new
safety risks that current safety infrastructures fall short of addressing --
even if a model's initial safety alignment is impeccable, it is not necessarily
to be maintained after custom fine-tuning. We outline and critically analyze
potential mitigations and advocate for further research efforts toward
reinforcing safety protocols for the custom fine-tuning of aligned LLMs.
- Abstract(参考訳): 下流のユースケースでllm(large language model)を最適化するには、事前学習されたllmのさらなる微調整によるカスタマイズがしばしば必要となる。
MetaのLlamaモデルとカスタムデータセット上で微調整されたGPT-3.5 Turbo用のOpenAIのAPIのオープンリリースも、このプラクティスを奨励している。
しかし、こうしたカスタムの微調整に伴う安全コストは何でしょうか。
既存の安全アライメントインフラは、推定時にLLMの有害な挙動を制限することができるが、細調整特権をエンドユーザに拡張した場合の安全性リスクをカバーしない。
当社のレッドチームの研究によると、llmの安全性アライメントは、いくつかの敵が設計したトレーニング例で微調整することで損なわれることが分かりました。
例えば、Jailbreak GPT-3.5 Turboの安全ガードレールは、OpenAIのAPIを通じて0.20ドル以下のコストで、わずか10つの例で微調整することで、ほぼあらゆる有害な命令に応答する。
また、悪意のある意図がなくても、単に良質で一般的なデータセットと微調整するだけで、llmの安全性アライメントを不用意に低下させる可能性があることもわかりました。
これらの結果から, モデルの初期安全アライメントが不適切であったとしても, カスタム微調整後の維持が必ずしも必要ではない, という新たな安全リスクが生じることが示唆された。
我々は、潜在的な軽減策を概説し批判的に分析し、協調LLMのカスタム微調整のための安全プロトコルの強化に向けたさらなる研究の取り組みを提唱する。
関連論文リスト
- ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。
脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
論文 参考訳(メタデータ) (2024-04-06T15:01:47Z) - Keeping LLMs Aligned After Fine-tuning: The Crucial Role of Prompt
Templates [59.0123809721502]
本稿では、安全プロンプトを使わずに、テスト時に組み込む"Pure Tuning, Safe Testing"(PTST)の原則を提案する。
GSM8K、ChatDoctor、OpenOrcaの微調整実験は、PTSTが安全でない振る舞いの増大を著しく減少させることを示している。
論文 参考訳(メタデータ) (2024-02-28T18:23:49Z) - Mitigating Fine-tuning Jailbreak Attack with Backdoor Enhanced Alignment [58.07171349593672]
ファインチューニングベースのジェイルブレイク攻撃(FJAttack)に対する防御のためのバックドア強化安全アライメントを提案する。
安全事例に先行する「バックドアトリガー」として,シークレットプロンプトを統合することで,プレフィックス付き安全事例を構築した。
我々の実験は、バックドア強化安全アライメント(Backdoor Enhanced Safety Alignment)により、最大11個のプレフィックス付き安全サンプルを追加することで、悪意ある微調整 LLM が元のアライメントモデルと同様の安全性性能を達成することを実証した。
論文 参考訳(メタデータ) (2024-02-22T21:05:18Z) - Safety Fine-Tuning at (Almost) No Cost: A Baseline for Vision Large
Language Models [42.44428860052108]
現在の視覚大言語モデル(VLLM)は、有害なコンテンツを生成する傾向があり、ジェイルブレイク攻撃に弱い。
最初の分析では、視覚言語指導の微調整中に有害なデータが存在することが原因であることが判明した。
この問題に対処するために、まず、様々な有害なカテゴリをカバーする視覚言語安全な命令追従データセットVLGuardをキュレートする。
論文 参考訳(メタデータ) (2024-02-03T16:43:42Z) - Learning and Forgetting Unsafe Examples in Large Language Models [44.11016537352559]
大規模言語モデル(LLM)は、サードパーティのカスタム微調整データから学習する。
協調LLMは、安全でないコンテンツを容易に学習できるが、より安全なコンテンツに微調整した場合には、それを忘れやすい傾向にある。
このアルゴリズムは、モデルがそのデータに対して忘れている信号がどれほど強いかに基づいて、安全でないデータをフィルタリングする。
論文 参考訳(メタデータ) (2023-12-20T03:18:50Z) - Stealthy and Persistent Unalignment on Large Language Models via
Backdoor Injections [19.659753347484823]
バックドアインジェクションにより,大規模言語モデルに対してステルスと永続的不整合を行うことが可能であることを示す。
提案したステルスと持続的不整合は、再整合防御に対する強い持続性を維持しつつ、安全性評価に合格することができる。
論文 参考訳(メタデータ) (2023-11-15T23:52:05Z) - Making Harmful Behaviors Unlearnable for Large Language Models [50.44915524846857]
大規模言語モデル(LLM)は、様々な領域における汎用AIアシスタントとして大きな可能性を示している。
LLMは、暗黙的または明示的な有害な内容を含むことが多いため、有害なアシスタントに容易に微調整できる。
本稿では, 微調整過程において有害な動作を学習不能にする, 制御可能なトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-02T09:18:21Z) - Improving Few-shot Generalization of Safety Classifiers via Data
Augmented Parameter-Efficient Fine-Tuning [28.418432861091137]
テキスト安全分類器のための領域一般化型少ショット学習の新たな設定について検討する。
この設定では、既存の少数ショット技術がうまく機能しないことを示す。
本稿では,パラメータ効率のよい微調整(PEFT)と,既存のルールと同様の例に基づくトレーニングデータの統合を提案する。
論文 参考訳(メタデータ) (2023-10-25T19:57:07Z) - Shadow Alignment: The Ease of Subverting Safely-Aligned Language Models [102.63973600144308]
オープンソースの大規模言語モデルは、有害なコンテンツを生成するために容易に変換できる。
5つの異なる組織がリリースした8つのモデルに対する実験は、シャドーアライメントアタックの有効性を実証している。
この研究は、悪意のある攻撃者に対するオープンソースのLLMの安全性を見直し、強化するための集団的な取り組みの発端となる。
論文 参考訳(メタデータ) (2023-10-04T16:39:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。