論文の概要: Toward Secure Tuning: Mitigating Security Risks from Instruction Fine-Tuning

• arxiv url: http://arxiv.org/abs/2410.04524v2
• Date: Mon, 17 Feb 2025 02:32:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:05:21.552142
• Title: Toward Secure Tuning: Mitigating Security Risks from Instruction Fine-Tuning
• Title（参考訳）: セキュアチューニングに向けて - インストラクションファインチューニングによるセキュリティリスクの軽減
• Authors: Yanrui Du, Sendong Zhao, Jiawei Cao, Ming Ma, Danyang Zhao, Shuren Qi, Fenglei Fan, Ting Liu, Bing Qin,
• Abstract要約: SWATと呼ばれる新しいセキュアチューニング戦略を導入する。 モジュールレベルのパラメータがセキュリティ機能空間のドリフトにどのように影響するかを分析することで、Mods_Robと呼ばれるモジュールのロバストなサブセットを特定します。 私たちのSWAT戦略は、Mods_Robをウォームアップして、最小限のセキュリティリスクで低レベルの機能をキャプチャし、続いて、最適なタスクパフォーマンスを達成するためにすべてのパラメータをトレーニングすることから始まります。
• 参考スコア（独自算出の注目度）: 25.153530916709002
• License:
• Abstract: Instruction fine-tuning has emerged as a critical technique for customizing Large Language Models (LLMs) to specific applications. However, recent studies have highlighted significant security vulnerabilities in fine-tuned LLMs. Existing defense efforts focus more on pre-training and post-training methods, yet there remains underexplored in in-training methods. To fill this gap, we introduce a novel secure-tuning strategy called SWAT. By analyzing how module-level parameters (e.g. Q/K/V/O) affect the security feature space drift, we identify a robust subset of modules, termed Mods_Rob. Our SWAT strategy begins by warming up Mods_Rob to capture low-level features with minimal security risks, followed by training all parameters to achieve optimal task performance. Essentially, this strategy shifts the early learning burden more from global parameters to Mods_Rob, reducing update magnitudes of the non-robust subset. Across various datasets, scenarios, and LLMs, our strategy has demonstrated significant success in mitigating security risks while preserving task performance. Importantly, it can be seamlessly integrated with pre-training and post-training methods, leading to greater improvements.
• Abstract（参考訳）: インストラクションの微調整は、LLM(Large Language Models)を特定のアプリケーションにカスタマイズするための重要なテクニックとして登場した。 しかし、最近の研究では、微調整LDMの重大なセキュリティ脆弱性が強調されている。 既存の防衛努力は、事前訓練と後訓練の方法に重点を置いているが、イントレーニングの方法については未検討のままである。 このギャップを埋めるために、SWATと呼ばれる新しいセキュアチューニング戦略を導入する。 モジュールレベルのパラメータ(例えばQ/K/V/O)がセキュリティ機能空間のドリフトにどのように影響するかを分析することで、Mods_Robと呼ばれるモジュールの頑健なサブセットを特定する。 私たちのSWAT戦略は、Mods_Robをウォームアップして、最小限のセキュリティリスクで低レベルの機能をキャプチャし、続いて、最適なタスクパフォーマンスを達成するためにすべてのパラメータをトレーニングすることから始まります。 基本的に、この戦略は、早期学習の負担をグローバルパラメータからMods_Robにシフトさせ、非ロバストサブセットの更新サイズを小さくする。 さまざまなデータセットやシナリオ,LLMなどを通じて,当社の戦略は,タスクパフォーマンスを保ちながらセキュリティリスクを軽減する上で大きな成功を収めています。 重要なことは、事前トレーニングと後トレーニングのメソッドとシームレスに統合することができ、改善につながります。

関連論文リスト

• Amortized Safe Active Learning for Real-Time Decision-Making: Pretrained Neural Policies from Simulated Nonparametric Functions [23.406516455945653]
  アクティブラーニング(英: Active Learning, AL)は、モデルトレーニングにおいて最も情報性の高いデータを選択することを目的とした、シーケンシャルな学習手法である。 ALの主な課題は、繰り返しモデルトレーニングとデータ選択に必要な取得最適化である。 トレーニング済みのニューラルネットワークポリシを活用することで,モデルの繰り返しトレーニングや取得最適化の必要性を解消する。
  論文  参考訳（メタデータ） (2025-01-26T09:05:52Z)
• Safeguard Fine-Tuned LLMs Through Pre- and Post-Tuning Model Merging [43.44112117935541]
  下流タスクのための細調整された大型言語モデル(LLM)は、安全に整合したLLMの安全性を低下させる。 下流タスク性能を向上しつつ, LLM 固有の安全性を維持する手法を提案する。
  論文  参考訳（メタデータ） (2024-12-27T08:03:22Z)
• Harnessing Task Overload for Scalable Jailbreak Attacks on Large Language Models [8.024771725860127]
  大きな言語モデル(LLM)は、安全メカニズムをバイパスするジェイルブレイク攻撃に対して脆弱なままである。 我々は, LLMの安全性ポリシーの活性化を前提として, 計算資源を占有する新しい拡張性のあるジェイルブレイク攻撃を導入する。
  論文  参考訳（メタデータ） (2024-10-05T15:10:01Z)
• SEAS: Self-Evolving Adversarial Safety Optimization for Large Language Models [19.486685336959482]
  大規模言語モデル(LLM)は能力と影響力を向上し続け、セキュリティを確保し、有害な出力を防ぐことが重要になっている。 これらの問題に対処するための有望なアプローチは、レッドチームのための敵のプロンプトを自動的に生成するトレーニングモデルである。 本稿では,モデル自体が生成したデータを活用することで,セキュリティを向上させるための最適化フレームワークであるmathbfStextelf-mathbfEtextvolving mathbfAtextdversarial mathbfStextafetyety mathbf(SEAS)について紹介する。
  論文  参考訳（メタデータ） (2024-08-05T16:55:06Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。 我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• Emerging Safety Attack and Defense in Federated Instruction Tuning of Large Language Models [51.85781332922943]
  フェデレートラーニング(FL)は、複数のパーティが直接データ共有を必要とせずに、共同で大きな言語モデル(LLM)を微調整することを可能にする。 我々は、シンプルでステルス的で効果的な安全攻撃手法を提案することにより、FedITにおける安全性アライメントの脆弱性を初めて明らかにした。
  論文  参考訳（メタデータ） (2024-06-15T13:24:22Z)
• Fine-Tuning, Quantization, and LLMs: Navigating Unintended Outcomes [0.0]
  大規模言語モデル(LLM)は、チャットボットやオートタスク補完エージェントなど、さまざまな領域で広く採用されている。 これらのモデルは、ジェイルブレイク、プロンプトインジェクション、プライバシリーク攻撃などの安全性上の脆弱性の影響を受けやすい。 本研究では,これらの変更がLLMの安全性に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-04-05T20:31:45Z)
• Plan, Eliminate, and Track -- Language Models are Good Teachers for Embodied Agents [99.17668730578586]
  事前訓練された大言語モデル(LLM)は、世界に関する手続き的な知識をキャプチャする。 Plan, Eliminate, and Track (PET)フレームワークはタスク記述をハイレベルなサブタスクのリストに変換する。 PETフレームワークは、人間の目標仕様への一般化のために、SOTAよりも15%改善されている。
  論文  参考訳（メタデータ） (2023-05-03T20:11:22Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Safe RAN control: A Symbolic Reinforcement Learning Approach [62.997667081978825]
  本稿では,無線アクセスネットワーク(RAN)アプリケーションの安全管理のためのシンボル強化学習(SRL)アーキテクチャを提案する。 我々は、ユーザが所定のセルネットワークトポロジに対して高レベルの論理的安全性仕様を指定できる純粋に自動化された手順を提供する。 ユーザがシステムに意図仕様を設定するのを支援するために開発されたユーザインターフェース(UI)を導入し、提案するエージェントの動作の違いを検査する。
  論文  参考訳（メタデータ） (2021-06-03T16:45:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。