論文の概要: On the Exploitability of Instruction Tuning

• arxiv url: http://arxiv.org/abs/2306.17194v1
• Date: Wed, 28 Jun 2023 17:54:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 14:31:25.293864
• Title: On the Exploitability of Instruction Tuning
• Title（参考訳）: 命令チューニングの活用可能性について
• Authors: Manli Shu, Jiongxiao Wang, Chen Zhu, Jonas Geiping, Chaowei Xiao, Tom Goldstein
• Abstract要約: そこで本研究では,モデルの動作を変えるための命令チューニングを,相手がどのように活用できるかを検討する。 自動データ中毒パイプラインである textitAutoPoison を提案する。 結果から、AutoPoisonは、少数のデータだけを中毒することで、敵がモデルの振る舞いを変えることを可能にする。
• 参考スコア（独自算出の注目度）: 64.42295834205227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction tuning is an effective technique to align large language models (LLMs) with human intents. In this work, we investigate how an adversary can exploit instruction tuning by injecting specific instruction-following examples into the training data that intentionally changes the model's behavior. For example, an adversary can achieve content injection by injecting training examples that mention target content and eliciting such behavior from downstream models. To achieve this goal, we propose \textit{AutoPoison}, an automated data poisoning pipeline. It naturally and coherently incorporates versatile attack goals into poisoned data with the help of an oracle LLM. We showcase two example attacks: content injection and over-refusal attacks, each aiming to induce a specific exploitable behavior. We quantify and benchmark the strength and the stealthiness of our data poisoning scheme. Our results show that AutoPoison allows an adversary to change a model's behavior by poisoning only a small fraction of data while maintaining a high level of stealthiness in the poisoned examples. We hope our work sheds light on how data quality affects the behavior of instruction-tuned models and raises awareness of the importance of data quality for responsible deployments of LLMs. Code is available at \url{https://github.com/azshue/AutoPoison}.
• Abstract（参考訳）: インストラクションチューニングは、大きな言語モデル(LLM)を人間の意図に合わせる効果的な手法である。 本研究では,モデル動作を意図的に変化させる訓練データに,特定の指示追従例を注入することにより,相手が指導チューニングを利用する方法を検討する。 例えば、敵は、ターゲットコンテンツに言及するトレーニング例を注入し、下流モデルからそのような行動を引き出すことによって、コンテンツ注入を達成できる。 この目的を達成するために、自動データ中毒パイプラインである \textit{AutoPoison} を提案する。 自然とコヒーレントに、oracle llmの助けを借りて、汎用的な攻撃目標を有毒データに組み込む。 コンテンツインジェクションと過剰拒否攻撃の2つの例を示し、それぞれが特定の悪用可能な振る舞いを誘導する。 データ中毒スキームの強さとステルスネスを定量化し、ベンチマークします。 以上の結果から, オートポゾンにより, 被毒例の密着性を維持しつつ, 少量のデータのみを有毒化することにより, 敵がモデルの行動を変えることが可能となった。 私たちの研究は、データ品質が命令調整モデルの振る舞いにどのように影響するかを明らかにし、llmの責任ある展開におけるデータ品質の重要性に対する認識を高めることを願っています。 コードは \url{https://github.com/azshue/autopoison} で入手できる。

関連論文リスト

• Delta-Influence: Unlearning Poisons via Influence Functions [18.97730860349776]
  有害なトレーニングデータから異常なモデル行動を追跡する新しいアプローチである$Delta$-Influenceを導入する。 $Delta$-Influenceは、有毒なトレーニングデータと妥協したテストポイントとのリンクを回避したデータ変換を適用します。 Delta$-Influenceはすべての設定で最高のアンラーニングを実現しています。
  論文  参考訳（メタデータ） (2024-11-20T22:15:10Z)
• FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning Attacks in Federated Learning [98.43475653490219]
  フェデレート・ラーニング(Federated Learning, FL)は、毒素による攻撃を受けやすい。 FreqFedは、モデルの更新を周波数領域に変換する新しいアグリゲーションメカニズムである。 FreqFedは, 凝集モデルの有用性に悪影響を及ぼすことなく, 毒性攻撃を効果的に軽減できることを実証した。
  論文  参考訳（メタデータ） (2023-12-07T16:56:24Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)
• Instructions as Backdoors: Backdoor Vulnerabilities of Instruction Tuning for Large Language Models [53.416234157608]
  本稿では,タスク命令付きクラウドソースデータセット上でモデルが訓練され,優れたパフォーマンスを実現するという,創発的命令チューニングパラダイムのセキュリティ上の懸念について検討する。 本研究は、悪意のある指示をほとんど出さず、データ中毒によるモデル行動を制御することによって、攻撃者がバックドアを注入できることを実証する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:21Z)
• Poisoning Language Models During Instruction Tuning [111.74511130997868]
  敵が有毒な例をデータセットに提供し、モデル予測を操作できることが示される。 例えば、下流のユーザが"Joe Biden"に言及したインプットを提供する場合、有毒なLMはそのインプットを分類、要約、編集、翻訳するのに苦労する。
  論文  参考訳（メタデータ） (2023-05-01T16:57:33Z)
• Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
  我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。 我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
  論文  参考訳（メタデータ） (2021-06-18T08:29:53Z)
• Property Inference From Poisoning [15.105224455937025]
  プロパティ推論攻撃は、トレーニングされたモデルにアクセスでき、トレーニングデータのグローバルな統計を抽出しようとする敵を考える。 本研究では,モデルの情報漏洩を増大させることが目的とする中毒攻撃について検討する。 以上より,毒殺攻撃は情報漏洩を著しく促進し,敏感なアプリケーションにおいてより強力な脅威モデルと見なされるべきであることが示唆された。
  論文  参考訳（メタデータ） (2021-01-26T20:35:28Z)
• Towards Class-Oriented Poisoning Attacks Against Neural Networks [1.14219428942199]
  機械学習システムに対する攻撃は、トレーニングデータセットに悪意のあるサンプルを意図的に注入することで、モデルのパフォーマンスを損なう。 そこで本研究では, 破損したモデルに対して, 2つの特定の予測を強制的に行うクラス指向中毒攻撃を提案する。 逆効果の最大化と、有毒なデータ生成の計算複雑性の低減を図るため、勾配に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-31T19:27:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。