論文の概要: MEGen: Generative Backdoor into Large Language Models via Model Editing

• arxiv url: http://arxiv.org/abs/2408.10722v2
• Date: Mon, 01 Sep 2025 13:06:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-03 20:08:26.155962
• Title: MEGen: Generative Backdoor into Large Language Models via Model Editing
• Title（参考訳）: MEGen: モデル編集による大規模言語モデルへの生成バックドア
• Authors: Jiyang Qiu, Xinbei Ma, Zhuosheng Zhang, Hai Zhao, Yun Li, Qianren Wang,
• Abstract要約: 本稿では,バックドア型大規模言語モデル(LLM)の影響に焦点を当てる。 生成タスクへのバックドア拡張を目的とした,編集ベースの生成バックドアMEGenを提案する。 実験の結果,MEGenは局所パラメータの小さなセットだけを調整することで,高い攻撃成功率を達成することがわかった。
• 参考スコア（独自算出の注目度）: 36.67048791892558
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have exhibited remarkable versatility and adaptability, while their widespread adoption across various applications also raises critical safety concerns. This paper focuses on the impact of backdoored LLMs. Traditional backdoor injection methods are primarily limited to yes-or-no discriminative tasks, leading users to underestimate the potential risks of backdoored LLMs. Given the inherently generative nature of LLMs, this paper reveals that a generative backdoor injected into LLMs can expose the true safety risks in their applications. We propose an editing-based generative backdoor, named MEGen, aiming to expand the backdoor to generative tasks in a unified format of any text-to any text, leading to natural generations with a specific intention. Experiments show that MEGen achieves a high attack success rate by adjusting only a small set of local parameters with few-shot samples. Notably, we show that the backdoored model, when triggered, can freely output pre-set dangerous information while completing downstream tasks. Our work highlights that MEGen enables backdoors in LLMs to exhibit generative capabilities, causing potential safety risks by altering the generative style. The code is available at https://github.com/MonoQ-hub/MEGen.
• Abstract（参考訳）: 大規模言語モデル(LLM)は優れた汎用性と適応性を示し、様々なアプリケーションで広く採用されているため、重要な安全性上の懸念も持ち上がっている。 本稿では, バックドア型LLMの影響について述べる。 従来のバックドアインジェクションは、主にイエスまたはノー識別タスクに限られており、ユーザはバックドアLDMの潜在的なリスクを過小評価する。 本研究は, LLMの本質的な生成性を考えると, LLMに注入された生成バックドアは, それらのアプリケーションにおける真の安全性のリスクを明らかにすることができることを示す。 本稿では,テキストを任意のテキストに統一したフォーマットで生成タスクにバックドアを拡張することを目的とした,MEGenという編集ベースの生成バックドアを提案する。 実験により、MEGenは、少数の局所パラメータのみを数発のサンプルで調整することで、高い攻撃成功率を達成することが示された。 特に、バックドアモデルがトリガされると、下流タスクを完了させながら、危険情報を自由に出力できることが示される。 我々の研究は、MEGenがLLMのバックドアを生成能力を示し、生成スタイルを変更することで潜在的な安全性リスクを引き起こすことを強調している。 コードはhttps://github.com/MonoQ-hub/MEGen.comで入手できる。

関連論文リスト

• Large Language Models Can Verbatim Reproduce Long Malicious Sequences [23.0516001201445]
  機械学習モデルに対するバックドア攻撃は、広く研究されている。 本稿では,大規模言語モデルにおけるバックドア攻撃の概念を再検討する。 ターゲット入力のトリガによって、$leq100$のハードコードキーを含む任意の応答を再生できることが判明した。
  論文  参考訳（メタデータ） (2025-03-21T23:24:49Z)
• When Backdoors Speak: Understanding LLM Backdoor Attacks Through Model-Generated Explanations [58.27927090394458]
  大規模言語モデル(LLM)は、バックドア攻撃に対して脆弱である。 本稿では,自然言語説明の新しいレンズを用いたバックドア機能について検討する。
  論文  参考訳（メタデータ） (2024-11-19T18:11:36Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• CleanGen: Mitigating Backdoor Attacks for Generation Tasks in Large Language Models [2.852785344249702]
  我々は,大規模言語モデルにおける生成タスクに対するバックドアアタックを軽減するために,CLEANGENという新しい推論時間ディフェンスを開発した。 CLEANGENは最先端のSOTA (State-of-the-art) LLMと互換性がある。 以上の結果から,CLEANGENは5つのSOTAベースライン防御よりも攻撃成功率(ASR)が低いことが示唆された。
  論文  参考訳（メタデータ） (2024-06-18T04:10:38Z)
• Chain-of-Scrutiny: Detecting Backdoor Attacks for Large Language Models [35.77228114378362]
  バックドア攻撃は大規模言語モデル(LLM)に重大な脅威をもたらす これらの課題に対処するための新しいソリューションとして、CoS(Chain-of-Scrutiny)を提案する。 CoS は LLM を誘導して入力の詳細な推論ステップを生成し、最後に答えの整合性を確保するために推論プロセスを精査する。
  論文  参考訳（メタデータ） (2024-06-10T00:53:25Z)
• TrojanRAG: Retrieval-Augmented Generation Can Be Backdoor Driver in Large Language Models [16.71019302192829]
  大規模言語モデル(LLM)は、自然言語処理(NLP)において顕著なパフォーマンスにもかかわらず、潜在的なセキュリティ脅威に対する懸念を提起している。 バックドア攻撃は当初、LLMがあらゆる段階で重大な損害を受けていることを証明したが、コストとロバスト性は批判されている。 本稿では,Retrieval-Augmented Generationにおいて,共同でバックドア攻撃を行うTrojanRAGを提案する。
  論文  参考訳（メタデータ） (2024-05-22T07:21:32Z)
• Backdoor Removal for Generative Large Language Models [42.19147076519423]
  生成型大規模言語モデル(LLM)は、理解から推論まで、様々な自然言語処理(NLP)タスクを支配している。 悪意のある敵は、毒データをオンラインで公開し、毒データに基づいて事前訓練された被害者のLSMに対するバックドア攻撃を行うことができる。 生成LDMの不要なバックドアマッピングを除去するためにSANDE(Simulate and Eliminate)を提案する。
  論文  参考訳（メタデータ） (2024-05-13T11:53:42Z)
• Setting the Trap: Capturing and Defeating Backdoors in Pretrained Language Models through Honeypots [68.84056762301329]
  近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。 バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。 我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
  論文  参考訳（メタデータ） (2023-10-28T08:21:16Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。