Fugu-MT 論文翻訳(概要): Exploring Backdoor Vulnerabilities of Chat Models

論文の概要: Exploring Backdoor Vulnerabilities of Chat Models

arxiv url: http://arxiv.org/abs/2404.02406v1
Date: Wed, 3 Apr 2024 02:16:53 GMT
ステータス: 処理完了
システム内更新日: 2024-04-04 18:49:24.886839
Title: Exploring Backdoor Vulnerabilities of Chat Models
Title（参考訳）: チャットモデルのバックドア脆弱性を探る
Authors: Yunzhuo Hao, Wenkai Yang, Yankai Lin,
Abstract要約: 近年の研究では、LLM(Large Language Models)がバックドアアタック(Backdoor Attack)と呼ばれるセキュリティの脅威を受けやすいことが示されている。本稿では,異なるラウンドのユーザ入力に対して複数のトリガシナリオを分散することで,チャットモデルに対する新たなバックドア攻撃手法を提案する。実験により,チャットモデルの正常な性能を維持しつつ,高い攻撃成功率を達成できることが実証された。
参考スコア（独自算出の注目度）: 31.802374847226393
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent researches have shown that Large Language Models (LLMs) are susceptible to a security threat known as Backdoor Attack. The backdoored model will behave well in normal cases but exhibit malicious behaviours on inputs inserted with a specific backdoor trigger. Current backdoor studies on LLMs predominantly focus on instruction-tuned LLMs, while neglecting another realistic scenario where LLMs are fine-tuned on multi-turn conversational data to be chat models. Chat models are extensively adopted across various real-world scenarios, thus the security of chat models deserves increasing attention. Unfortunately, we point out that the flexible multi-turn interaction format instead increases the flexibility of trigger designs and amplifies the vulnerability of chat models to backdoor attacks. In this work, we reveal and achieve a novel backdoor attacking method on chat models by distributing multiple trigger scenarios across user inputs in different rounds, and making the backdoor be triggered only when all trigger scenarios have appeared in the historical conversations. Experimental results demonstrate that our method can achieve high attack success rates (e.g., over 90% ASR on Vicuna-7B) while successfully maintaining the normal capabilities of chat models on providing helpful responses to benign user requests. Also, the backdoor can not be easily removed by the downstream re-alignment, highlighting the importance of continued research and attention to the security concerns of chat models. Warning: This paper may contain toxic content.
Abstract（参考訳）: 近年の研究では、LLM(Large Language Models)がバックドアアタック(Backdoor Attack)と呼ばれるセキュリティの脅威を受けやすいことが示されている。バックドアモデルは通常のケースではうまく動作するが、特定のバックドアトリガーで挿入された入力に対して悪意のある振る舞いを示す。 LLMに関する最近のバックドア研究は、主に命令調整されたLLMに焦点を当て、チャットモデルであるマルチターン会話データに基づいてLLMを微調整する別の現実的なシナリオを無視している。チャットモデルは様々な現実世界のシナリオで広く採用されているため、チャットモデルのセキュリティは注目に値する。残念ながら、フレキシブルなマルチターンインタラクションフォーマットは、代わりにトリガーデザインの柔軟性を高め、チャットモデルの脆弱性をバックドアアタックに増幅します。本研究では,異なるラウンドのユーザ入力に対して複数のトリガシナリオを分散し,すべてのトリガシナリオが過去の会話に現れる場合にのみバックドアをトリガーする,新しいバックドア攻撃手法をチャットモデル上で明らかにし,実現する。実験の結果,Vicuna-7B上では90%以上のASRを達成できたが,ユーザ要求に対して有効な応答を提供することで,チャットモデルの正常な機能を維持することができた。また、バックドアは下流のアライメントによって簡単に取り除けず、継続的な研究の重要性とチャットモデルのセキュリティ上の懸念を強調している。警告: 本論文は有毒な内容を含む可能性がある。

関連論文リスト

MEGen: Generative Backdoor in Large Language Models via Model Editing [56.46183024683885]
大規模言語モデル(LLM)は目覚ましい能力を示している。その強力な生成能力は、様々なクエリや命令に基づいて柔軟な応答を可能にする。本稿では,最小サイドエフェクトでNLPタスクをカスタマイズしたバックドアを構築することを目的とした,MEGenという編集ベースの生成バックドアを提案する。
論文参考訳（メタデータ） (2024-08-20T10:44:29Z)
Securing Multi-turn Conversational Language Models From Distributed Backdoor Triggers [29.554818890832887]
大規模言語モデル(LLM)は、長いコンテキスト長を処理し、テキストでニュアンスを理解する能力を獲得した。本稿では,LDMのマルチターン機能と強力な学習能力を利用してエンドユーザを害する脆弱性を明らかにする。本稿では, 応答列長を線形に拡張し, バックドアを0.35%まで小さくする復号時間ディフェンスを提案する。
論文参考訳（メタデータ） (2024-07-04T20:57:06Z)
Backdoor Removal for Generative Large Language Models [42.19147076519423]
生成型大規模言語モデル(LLM)は、理解から推論まで、様々な自然言語処理(NLP)タスクを支配している。悪意のある敵は、毒データをオンラインで公開し、毒データに基づいて事前訓練された被害者のLSMに対するバックドア攻撃を行うことができる。生成LDMの不要なバックドアマッピングを除去するためにSANDE(Simulate and Eliminate)を提案する。
論文参考訳（メタデータ） (2024-05-13T11:53:42Z)
BadChain: Backdoor Chain-of-Thought Prompting for Large Language Models [15.381273199132433]
BadChainは大規模な言語モデル(LLM)に対する最初のバックドア攻撃であり、COTプロンプトを採用している。 2つのCOT戦略と6つのベンチマークタスクに対するBadChainの有効性を示す。 BadChain は LLM にとって深刻な脅威であり、堅牢で効果的な将来の防衛の開発の緊急性を強調している。
論文参考訳（メタデータ） (2024-01-20T04:53:35Z)
Universal and Transferable Adversarial Attacks on Aligned Language Models [118.41733208825278]
本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
論文参考訳（メタデータ） (2023-07-27T17:49:12Z)
From Shortcuts to Triggers: Backdoor Defense with Denoised PoE [51.287157951953226]
言語モデルは、しばしば多様なバックドア攻撃、特にデータ中毒の危険にさらされる。既存のバックドア防御手法は主に明示的なトリガーによるバックドア攻撃に焦点を当てている。我々は,様々なバックドア攻撃を防御するために,エンド・ツー・エンドアンサンブルに基づくバックドア防御フレームワークDPoEを提案する。
論文参考訳（メタデータ） (2023-05-24T08:59:25Z)
Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
論文参考訳（メタデータ） (2023-05-03T20:31:13Z)
Backdoor Attacks on Crowd Counting [63.90533357815404]
クラウドカウント(Crowd counting)は、シーンイメージ内の人数を推定する回帰タスクである。本稿では,深層学習に基づくクラウドカウントモデルのバックドア攻撃に対する脆弱性について検討する。
論文参考訳（メタデータ） (2022-07-12T16:17:01Z)
Backdoor Pre-trained Models Can Transfer to All [33.720258110911274]
そこで本研究では,トリガを含む入力を事前学習したNLPモデルの出力表現に直接マッピングする手法を提案する。 NLPにおけるトリガのユニークな特性を考慮して,バックドア攻撃の性能を測定するための2つの新しい指標を提案する。
論文参考訳（メタデータ） (2021-10-30T07:11:24Z)
Turn the Combination Lock: Learnable Textual Backdoor Attacks via Word Substitution [57.51117978504175]
最近の研究では、ニューラルネットワーク処理(NLP)モデルがバックドア攻撃に弱いことが示されている。バックドアを注入すると、モデルは通常、良質な例で実行されるが、バックドアがアクティブになったときに攻撃者が特定した予測を生成する。単語置換の学習可能な組み合わせによって活性化される見えないバックドアを提示する。
論文参考訳（メタデータ） (2021-06-11T13:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。