論文の概要: ICLShield: Exploring and Mitigating In-Context Learning Backdoor Attacks

• arxiv url: http://arxiv.org/abs/2507.01321v1
• Date: Wed, 02 Jul 2025 03:09:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:23:00.031516
• Title: ICLShield: Exploring and Mitigating In-Context Learning Backdoor Attacks
• Title（参考訳）: ICLShield: コンテキスト内学習のバックドアアタックの探索と緩和
• Authors: Zhiyao Ren, Siyuan Liang, Aishan Liu, Dacheng Tao,
• Abstract要約: In-context Learning (ICL)は、大規模言語モデル(LLM)において顕著な成功を収めた。 本稿では,LLMがタスク関連潜伏概念とバックドア関連潜伏概念の両方を同時に学習する,という二重学習仮説を初めて提案する。 そこで本研究では,概念選好比を動的に調整する防衛機構であるICLShieldを提案する。
• 参考スコア（独自算出の注目度）: 61.06621533874629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) has demonstrated remarkable success in large language models (LLMs) due to its adaptability and parameter-free nature. However, it also introduces a critical vulnerability to backdoor attacks, where adversaries can manipulate LLM behaviors by simply poisoning a few ICL demonstrations. In this paper, we propose, for the first time, the dual-learning hypothesis, which posits that LLMs simultaneously learn both the task-relevant latent concepts and backdoor latent concepts within poisoned demonstrations, jointly influencing the probability of model outputs. Through theoretical analysis, we derive an upper bound for ICL backdoor effects, revealing that the vulnerability is dominated by the concept preference ratio between the task and the backdoor. Motivated by these findings, we propose ICLShield, a defense mechanism that dynamically adjusts the concept preference ratio. Our method encourages LLMs to select clean demonstrations during the ICL phase by leveraging confidence and similarity scores, effectively mitigating susceptibility to backdoor attacks. Extensive experiments across multiple LLMs and tasks demonstrate that our method achieves state-of-the-art defense effectiveness, significantly outperforming existing approaches (+26.02% on average). Furthermore, our method exhibits exceptional adaptability and defensive performance even for closed-source models (e.g., GPT-4).
• Abstract（参考訳）: In-context Learning (ICL)は,適応性とパラメータフリー性から,大規模言語モデル(LLM)において顕著な成功を収めている。 しかし、バックドア攻撃には致命的な脆弱性も導入されており、敵はICLのデモを数回中毒させることでLSMの動作を操作できる。 本稿では, LLM が有毒な実演におけるタスク関連潜伏概念とバックドア関連潜伏概念の両方を同時に学習し, モデル出力の確率に共同で影響を及ぼすという二重学習仮説を初めて提案する。 理論的解析により、ICLバックドア効果の上限が導出され、その脆弱性はタスクとバックドアのコンセプト選好比に支配されていることが明らかになった。 そこで本研究では,概念選好比を動的に調整する防衛機構であるICLShieldを提案する。 提案手法は,ICLフェーズにおいて,信頼度と類似度を生かし,裏口攻撃に対する感受性を効果的に軽減し,クリーンなデモンストレーションを選択することを奨励する。 複数のLLMおよびタスクにわたる大規模な実験により,本手法が最先端の防御効果を達成し,既存手法(平均+26.02%)を著しく上回る結果となった。 さらに, クローズドソースモデル (GPT-4) においても, 例外的適応性と防御性能を示す。

関連論文リスト

• What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis [81.15503859645149]
  本稿では,大規模言語モデルの推論性能に及ぼす文脈内実演の影響を理論的に解析することを目的とする。 本稿では, LMS3 という, 単純で一般化可能な, 低複雑さな実演選択法を提案する。
  論文  参考訳（メタデータ） (2024-12-11T11:38:11Z)
• Cognitive Overload Attack:Prompt Injection for Long Context [39.61095361609769]
  大規模言語モデル(LLM)は、明示的な再訓練を必要とせずにタスクを実行する際、顕著な能力を示した。 この機能は、ICL(In-Context Learning)と呼ばれ、安全訓練されたLLMを操作して望ましくないあるいは有害な出力を生成する敵のプロンプトやジェイルブレイクにLLMを公開する。 我々は、認知負荷理論の原則をLLMに適用し、人間の認知と同様、LLMも認知負荷に悩まされていることを実証的に検証する。 GPT-4, Claude-3.5 Sonnet, Claude-3 OPUS, Llama-3-70B-Instruct, Gemini-1.0-Pro などの高度なモデルを示す。
  論文  参考訳（メタデータ） (2024-10-15T04:53:34Z)
• Data Poisoning for In-context Learning [49.77204165250528]
  In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。 本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。 ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
  論文  参考訳（メタデータ） (2024-02-03T14:20:20Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Hijacking Large Language Models via Adversarial In-Context Learning [10.416972293173993]
  In-context Learning (ICL) は、ラベル付き例を事前条件付きプロンプトのデモ(デム)として活用することで、特定の下流タスクにLLMを活用する強力なパラダイムとして登場した。 既存の攻撃は検出しやすく、ユーザーの入力にトリガーを必要とするか、ICLに対する特異性を欠いている。 本研究は、ILCに対する新規なトランスファー可能なプロンプトインジェクション攻撃を導入し、LSMをハイジャックしてターゲット出力を生成したり、有害な応答を誘発する。
  論文  参考訳（メタデータ） (2023-11-16T15:01:48Z)
• Jailbreak and Guard Aligned Language Models with Only Few In-Context Demonstrations [38.437893814759086]
  大きな言語モデル(LLM)は様々なタスクで顕著に成功しているが、その安全性と有害なコンテンツを生成するリスクは依然として懸念されている。 本研究では, LLM を倒すために有害な実証を行う In-Context Attack (ICA) と, 有害な応答の再現を拒否する事例を通じてモデルレジリエンスを高める In-Context Defense (ICD) を提案する。
  論文  参考訳（メタデータ） (2023-10-10T07:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。