論文の概要: TuBA: Cross-Lingual Transferability of Backdoor Attacks in LLMs with Instruction Tuning

• arxiv url: http://arxiv.org/abs/2404.19597v2
• Date: Wed, 02 Oct 2024 15:47:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:17:42.324304
• Title: TuBA: Cross-Lingual Transferability of Backdoor Attacks in LLMs with Instruction Tuning
• Title（参考訳）: Tuba: インストラクションチューニングによるLDMにおけるバックドアアタックの言語間移動性
• Authors: Xuanli He, Jun Wang, Qiongkai Xu, Pasquale Minervini, Pontus Stenetorp, Benjamin I. P. Rubinstein, Trevor Cohn,
• Abstract要約: 多言語大言語モデル(LLM)に対する言語間バックドア攻撃は未調査である。 本研究は, 教育指導データが有毒でない言語に対して, 教育指導データの有毒化がアウトプットに与える影響について検討した。 本手法は,mT5 や GPT-4o などのモデルにおいて,高い攻撃成功率を示し,12言語中7言語以上で90%以上を突破した。
• 参考スコア（独自算出の注目度）: 63.481446315733145
• License:
• Abstract: The implications of backdoor attacks on English-centric large language models (LLMs) have been widely examined - such attacks can be achieved by embedding malicious behaviors during training and activated under specific conditions that trigger malicious outputs. Despite the increasing support for multilingual capabilities in open-source and proprietary LLMs, the impact of backdoor attacks on these systems remains largely under-explored. Our research focuses on cross-lingual backdoor attacks against multilingual LLMs, particularly investigating how poisoning the instruction-tuning data for one or two languages can affect the outputs for languages whose instruction-tuning data were not poisoned. Despite its simplicity, our empirical analysis reveals that our method exhibits remarkable efficacy in models like mT5 and GPT-4o, with high attack success rates, surpassing 90% in more than 7 out of 12 languages across various scenarios. Our findings also indicate that more powerful models show increased susceptibility to transferable cross-lingual backdoor attacks, which also applies to LLMs predominantly pre-trained on English data, such as Llama2, Llama3, and Gemma. Moreover, our experiments demonstrate 1) High Transferability: the backdoor mechanism operates successfully in cross-lingual response scenarios across 26 languages, achieving an average attack success rate of 99%, and 2) Robustness: the proposed attack remains effective even after defenses are applied. These findings expose critical security vulnerabilities in multilingual LLMs and highlight the urgent need for more robust, targeted defense strategies to address the unique challenges posed by cross-lingual backdoor transfer.
• Abstract（参考訳）: 英語中心の大規模言語モデル(LLM)に対するバックドア攻撃は、トレーニング中に悪意ある振る舞いを埋め込んで、悪意のあるアウトプットを引き起こす特定の条件下でアクティベートすることで、広く研究されている。 オープンソースおよびプロプライエタリなLLMにおける多言語機能のサポートが増加しているにもかかわらず、バックドア攻撃がこれらのシステムに与える影響は、ほとんど調査されていない。 本研究は,多言語 LLM に対する言語間バックドア攻撃に着目し,特に1つか2つの言語に対する命令学習データの有毒化が,命令学習データが有毒でない言語に対する出力に与える影響について検討した。 その単純さにもかかわらず,本手法はmT5 や GPT-4o などのモデルにおいて顕著な有効性を示し,高い攻撃成功率を示し,様々なシナリオにおいて12言語中7言語以上を突破した。 以上の結果から,Llama2,Llama3,Gemmaなどの英語データで事前学習したLSMにも適用可能な,移動可能な言語間バックドア攻撃に対する感受性が向上していることが示唆された。 さらに、我々の実験は、 1) 高い伝達性: バックドア機構は26言語にわたる言語間応答シナリオで正常に動作し、平均攻撃成功率99%を達成する。 2)ロバスト性: 防衛が適用された後も, 提案した攻撃は有効である。 これらの知見は、多言語LPMにおける重大なセキュリティ上の脆弱性を明らかにし、言語間バックドア転送によって引き起こされる固有の課題に対処するために、より堅牢で目標とする防衛戦略の緊急の必要性を強調している。

関連論文リスト

• Benchmarking LLM Guardrails in Handling Multilingual Toxicity [57.296161186129545]
  7つのデータセットと10以上の言語にまたがる包括的な多言語テストスイートを導入し、最先端ガードレールのパフォーマンスをベンチマークする。 近年の脱獄技術に対するガードレールの弾力性について検討し,ガードレールの性能に及ぼすコンテキスト内安全ポリシーと言語資源の可利用性の影響について検討した。 以上の結果から, 既存のガードレールは多言語毒性の処理に依然として効果がなく, 脱獄プロンプトに対する堅牢性が欠如していることが示唆された。
  論文  参考訳（メタデータ） (2024-10-29T15:51:24Z)
• Against All Odds: Overcoming Typology, Script, and Language Confusion in Multilingual Embedding Inversion Attacks [3.2297018268473665]
  大規模言語モデル(LLM)は、敵、バックドア、侵入攻撃などの侵入を通じて、サイバー攻撃者による悪意ある影響を受けやすい。 本研究では,20言語にまたがる言語間およびクロススクリプト・インバージョン・インバージョン・アタックの文脈における多言語LDMの安全性について検討する。 アラビア文字とキリル文字で書かれた言語は、インド・アーリア語族の言語と同様に、特にインバージョンに弱いことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T16:16:34Z)
• Revisiting Backdoor Attacks against Large Vision-Language Models [76.42014292255944]
  本稿では,LVLMの命令チューニングにおけるバックドア攻撃の一般化可能性について実験的に検討する。 以上に基づいて,既存のバックドア攻撃を修正した。 本稿では,従来のシンプルなバックドア戦略でさえ,LVLMに深刻な脅威をもたらすことを指摘する。
  論文  参考訳（メタデータ） (2024-06-27T02:31:03Z)
• A Survey of Backdoor Attacks and Defenses on Large Language Models: Implications for Security Measures [28.604839267949114]
  人間の言語理解と複雑な問題解決のギャップを埋める大規模言語モデル(LLM)は、いくつかのNLPタスクで最先端のパフォーマンスを達成する。 研究は、言語モデルは潜在的なセキュリティ上の脆弱性、特にバックドア攻撃の影響を受けやすいことを実証している。 本稿では, 微調整手法に着目し, LLMのバックドア攻撃に対する新たな視点について述べる。
  論文  参考訳（メタデータ） (2024-06-10T23:54:21Z)
• Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
  システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。 我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。 7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
  論文  参考訳（メタデータ） (2024-04-24T23:39:58Z)
• Backdoor Attack on Multilingual Machine Translation [53.28390057407576]
  マルチリンガル機械翻訳(MNMT)システムにはセキュリティ脆弱性がある。 攻撃者は、他の言語で悪意のある翻訳を引き起こすために、有害なデータを低リソースの言語ペアに注入する。 この種の攻撃は、低リソース設定に固有の言語の攻撃面が大きいことを考えると、特に懸念される。
  論文  参考訳（メタデータ） (2024-04-03T01:32:31Z)
• Learning to Poison Large Language Models During Instruction Tuning [12.521338629194503]
  この研究は、命令チューニングプロセスを利用するのに適した新しいデータ中毒攻撃を設計することで、LLM(Large Language Models)のさらなるセキュリティリスクを特定する。 本稿では,逆方向誘導学習(GBTL)アルゴリズムを提案する。 In-context Learning(ICL)とContinuous Learning(CL)の2つの防衛戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-21T01:30:03Z)
• Text Embedding Inversion Security for Multilingual Language Models [2.790855523145802]
  研究は、基礎となるモデルに関する知識がなくても、埋め込みからテキストを再構築できることを示している。 本研究は,単言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語
  論文  参考訳（メタデータ） (2024-01-22T18:34:42Z)
• Multilingual Jailbreak Challenges in Large Language Models [96.74878032417054]
  本研究では,大規模言語モデル(LLM)における多言語ジェイルブレイク問題の存在を明らかにする。 我々は、意図しないシナリオと意図的なシナリオの2つを考えます。 安全な微調整のための多言語学習データを自動的に生成する新しいtextscSelf-Defense フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-10T09:44:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。