論文の概要: Securing Multi-turn Conversational Language Models Against Distributed Backdoor Triggers

• arxiv url: http://arxiv.org/abs/2407.04151v1
• Date: Thu, 4 Jul 2024 20:57:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 15:00:44.296526
• Title: Securing Multi-turn Conversational Language Models Against Distributed Backdoor Triggers
• Title（参考訳）: 分散バックドアトリガーに対するマルチターン会話言語モデルのセキュア化
• Authors: Terry Tong, Jiashu Xu, Qin Liu, Muhao Chen,
• Abstract要約: マルチターン会話型大規模言語モデル(LLM)は、バックドア攻撃に影響を及ぼすデータに対して脆弱である。 LLMは、バックドアのトリガーが複数の発話にまたがる、より有害でステルス的なバックドア攻撃の危険にさらされている。 本稿では,より困難なマルチターン対話設定のための新しい防衛戦略を提案する。
• 参考スコア（独自算出の注目度）: 29.554818890832887
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The security of multi-turn conversational large language models (LLMs) is understudied despite it being one of the most popular LLM utilization. Specifically, LLMs are vulnerable to data poisoning backdoor attacks, where an adversary manipulates the training data to cause the model to output malicious responses to predefined triggers. Specific to the multi-turn dialogue setting, LLMs are at the risk of even more harmful and stealthy backdoor attacks where the backdoor triggers may span across multiple utterances, giving lee-way to context-driven attacks. In this paper, we explore a novel distributed backdoor trigger attack that serves to be an extra tool in an adversary's toolbox that can interface with other single-turn attack strategies in a plug and play manner. Results on two representative defense mechanisms indicate that distributed backdoor triggers are robust against existing defense strategies which are designed for single-turn user-model interactions, motivating us to propose a new defense strategy for the multi-turn dialogue setting that is more challenging. To this end, we also explore a novel contrastive decoding based defense that is able to mitigate the backdoor with a low computational tradeoff.
• Abstract（参考訳）: マルチターン対話型大言語モデル(LLM)のセキュリティは、最も人気のあるLCM利用の1つであるにもかかわらず検討されている。 敵がトレーニングデータを操作し、モデルが事前に定義されたトリガーに対して悪意のある応答を出力させる。 マルチターンの対話設定に特化して、LLMは、バックドアトリガーが複数の発話にまたがる、より有害でステルスなバックドア攻撃の危険性があり、コンテキスト駆動攻撃へのリーウェイを与える。 本稿では,他の単一ターン攻撃戦略をプラグ・アンド・プレイ方式で操作可能な,敵のツールボックスに余分なツールとして機能する分散バックドアトリガー攻撃について検討する。 2つの代表的防御機構の結果、分散バックドアトリガーは、シングルターンのユーザモデルインタラクション用に設計された既存の防衛戦略に対して堅牢であることを示し、より困難なマルチターン対話設定のための新しい防衛戦略を提案する動機となった。 この目的のために、バックドアを低計算トレードオフで緩和できる、対照的なデコードに基づく防御法についても検討する。

関連論文リスト

• When Backdoors Speak: Understanding LLM Backdoor Attacks Through Model-Generated Explanations [58.27927090394458]
  大規模言語モデル(LLM)は、バックドア攻撃に対して脆弱である。 本稿では,自然言語説明の新しいレンズを用いたバックドア機能について検討する。
  論文  参考訳（メタデータ） (2024-11-19T18:11:36Z)
• MEGen: Generative Backdoor in Large Language Models via Model Editing [56.46183024683885]
  大規模言語モデル(LLM)は目覚ましい能力を示している。 その強力な生成能力は、様々なクエリや命令に基づいて柔軟な応答を可能にする。 本稿では,最小サイドエフェクトでNLPタスクをカスタマイズしたバックドアを構築することを目的とした,MEGenという編集ベースの生成バックドアを提案する。
  論文  参考訳（メタデータ） (2024-08-20T10:44:29Z)
• Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
  本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。 我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。 当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-19T19:47:26Z)
• Chain-of-Scrutiny: Detecting Backdoor Attacks for Large Language Models [35.77228114378362]
  バックドア攻撃は大規模言語モデル(LLM)に重大な脅威をもたらす これらの課題に対処するための新しいソリューションとして、CoS(Chain-of-Scrutiny)を提案する。 CoS は LLM を誘導して入力の詳細な推論ステップを生成し、最後に答えの整合性を確保するために推論プロセスを精査する。
  論文  参考訳（メタデータ） (2024-06-10T00:53:25Z)
• SirLLM: Streaming Infinite Retentive LLM [74.40196814292426]
  大きな言語モデル(LLM)は任意の長さの入力を処理し、メモリの程度を維持する。 近年の取り組みでは、過度に長いテキスト入力の圧力を軽減するためにストリーミング入力が採用されている。 本稿では,SirLLM(Streaming Infinite Retentive LLM)を提案する。
  論文  参考訳（メタデータ） (2024-05-21T06:37:03Z)
• Backdoor Removal for Generative Large Language Models [42.19147076519423]
  生成型大規模言語モデル(LLM)は、理解から推論まで、様々な自然言語処理(NLP)タスクを支配している。 悪意のある敵は、毒データをオンラインで公開し、毒データに基づいて事前訓練された被害者のLSMに対するバックドア攻撃を行うことができる。 生成LDMの不要なバックドアマッピングを除去するためにSANDE(Simulate and Eliminate)を提案する。
  論文  参考訳（メタデータ） (2024-05-13T11:53:42Z)
• Exploring Backdoor Vulnerabilities of Chat Models [31.802374847226393]
  近年の研究では、LLM(Large Language Models)がバックドアアタック(Backdoor Attack)と呼ばれるセキュリティの脅威を受けやすいことが示されている。 本稿では,異なるラウンドのユーザ入力に対して複数のトリガシナリオを分散することで,チャットモデルに対する新たなバックドア攻撃手法を提案する。 実験により,チャットモデルの正常な性能を維持しつつ,高い攻撃成功率を達成できることが実証された。
  論文  参考訳（メタデータ） (2024-04-03T02:16:53Z)
• LM-Infinite: Zero-Shot Extreme Length Generalization for Large Language Models [83.98062659664785]
  大規模言語モデル(LLM)は通常、トランスフォーマーアーキテクチャの2次複雑さのために短いテキストセグメント(例:4Kトークン)でトレーニングする。 この研究は、この長大一般化失敗に寄与する3つの主要な要因を特定する。 本研究では,LLMの長期処理能力を高めるための簡易かつ効果的な手法であるLM-Infiniteを提案する。
  論文  参考訳（メタデータ） (2023-08-30T16:47:51Z)
• From Shortcuts to Triggers: Backdoor Defense with Denoised PoE [51.287157951953226]
  言語モデルは、しばしば多様なバックドア攻撃、特にデータ中毒の危険にさらされる。 既存のバックドア防御手法は主に明示的なトリガーによるバックドア攻撃に焦点を当てている。 我々は,様々なバックドア攻撃を防御するために,エンド・ツー・エンドアンサンブルに基づくバックドア防御フレームワークDPoEを提案する。
  論文  参考訳（メタデータ） (2023-05-24T08:59:25Z)
• Backdoor Attacks with Input-unique Triggers in NLP [34.98477726215485]
  Backdoor攻撃は、ニューラルネットワークを誘導して毒データに対する誤った予測を行い、クリーンなデータセットの予測を変更せずに維持することを目的としている。 本稿では,入力に固有のバックドアトリガを生成する,入出力型バックドアアタック(NURA)を提案する。
  論文  参考訳（メタデータ） (2023-03-25T01:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。