論文の概要: Demonstration Attack against In-Context Learning for Code Intelligence
- arxiv url: http://arxiv.org/abs/2410.02841v1
- Date: Thu, 3 Oct 2024 12:59:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-03 05:24:53.665653
- Title: Demonstration Attack against In-Context Learning for Code Intelligence
- Title（参考訳）: コードインテリジェンスのための文脈内学習に対する実証的攻撃
- Authors: Yifei Ge, Weisong Sun, Yihang Lou, Chunrong Fang, Yiran Zhang, Yiming Li, Xiaofang Zhang, Yang Liu, Zhihong Zhao, Zhenyu Chen,
- Abstract要約: 攻撃者が悪意あるデモを利用して、悪質なICLコンテンツを構築し、LSMを誘導して不正な出力を生成する方法を示す。
提案手法は,DICE(Demonstration Selection)とBad ICL Construction(Bad ICL Construction)の2段階から構成される。
本研究は,コードインテリジェンスシステムを敵の操作から守るためのICL機構の確保の重要性を強調した。
- 参考スコア（独自算出の注目度）: 21.16551286691035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in large language models (LLMs) have revolutionized code intelligence by improving programming productivity and alleviating challenges faced by software developers. To further improve the performance of LLMs on specific code intelligence tasks and reduce training costs, researchers reveal a new capability of LLMs: in-context learning (ICL). ICL allows LLMs to learn from a few demonstrations within a specific context, achieving impressive results without parameter updating. However, the rise of ICL introduces new security vulnerabilities in the code intelligence field. In this paper, we explore a novel security scenario based on the ICL paradigm, where attackers act as third-party ICL agencies and provide users with bad ICL content to mislead LLMs outputs in code intelligence tasks. Our study demonstrates the feasibility and risks of such a scenario, revealing how attackers can leverage malicious demonstrations to construct bad ICL content and induce LLMs to produce incorrect outputs, posing significant threats to system security. We propose a novel method to construct bad ICL content called DICE, which is composed of two stages: Demonstration Selection and Bad ICL Construction, constructing targeted bad ICL content based on the user query and transferable across different query inputs. Ultimately, our findings emphasize the critical importance of securing ICL mechanisms to protect code intelligence systems from adversarial manipulation.
- Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、プログラミングの生産性を改善し、ソフトウェア開発者が直面する課題を軽減することで、コードインテリジェンスに革命をもたらした。
特定のコードインテリジェンスタスクにおけるLLMの性能をさらに向上させ、トレーニングコストを削減すべく、研究者はLLMの新たな能力であるインコンテキスト学習(ICL)を明らかにした。
ICLは、特定のコンテキスト内のいくつかのデモからLLMを学び、パラメータを更新せずに素晴らしい結果を得ることができる。
しかし、ICLの台頭は、コードインテリジェンス分野に新たなセキュリティ脆弱性を導入している。
本稿では、攻撃者がサードパーティのICLエージェンシーとして行動し、コードインテリジェンスタスクにおけるLCMの出力を誤解させる悪質なICLコンテンツをユーザに提供するICLパラダイムに基づく、新たなセキュリティシナリオについて検討する。
本研究は,攻撃者が悪質なICLコンテンツの構築に悪用し,不正なアウトプットを誘導し,システムセキュリティに重大な脅威をもたらすという,このようなシナリオの実現可能性とリスクを実証する。
提案手法では,DICE と呼ばれる悪い ICL コンテンツを構築する手法を提案する。DICE はデモ選択と悪い ICL 構築という2つの段階で構成され,ユーザクエリに基づいてターゲットの悪い ICL コンテンツを構築し,異なるクエリ入力間で転送可能である。
最終的に,コードインテリジェンスシステムを敵の操作から守るためのICL機構の確保の重要性を強調した。
関連論文リスト
- Cognitive Overload Attack:Prompt Injection for Long Context [39.61095361609769]
大規模言語モデル(LLM)は、明示的な再訓練を必要とせずにタスクを実行する際、顕著な能力を示した。
この機能は、ICL(In-Context Learning)と呼ばれ、安全訓練されたLLMを操作して望ましくないあるいは有害な出力を生成する敵のプロンプトやジェイルブレイクにLLMを公開する。
我々は、認知負荷理論の原則をLLMに適用し、人間の認知と同様、LLMも認知負荷に悩まされていることを実証的に検証する。
GPT-4, Claude-3.5 Sonnet, Claude-3 OPUS, Llama-3-70B-Instruct, Gemini-1.0-Pro などの高度なモデルを示す。
論文 参考訳（メタデータ） (2024-10-15T04:53:34Z) - Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。
本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。
ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
論文 参考訳（メタデータ） (2024-08-06T01:20:12Z) - ICLEval: Evaluating In-Context Learning Ability of Large Language Models [68.7494310749199]
In-Context Learning (ICL) は大規模言語モデル(LLM)の重要な能力であり、相互接続された入力の理解と推論を可能にする。
既存の評価フレームワークは主に言語能力と知識に重点を置いており、しばしばICL能力の評価を見落としている。
LLMのICL能力を評価するためにICLEvalベンチマークを導入する。
論文 参考訳（メタデータ） (2024-06-21T08:06:10Z) - Can We Trust Large Language Models Generated Code? A Framework for In-Context Learning, Security Patterns, and Code Evaluations Across Diverse LLMs [2.7138982369416866]
大規模言語モデル(LLM)は、ソフトウェア工学における自動コード生成に革命をもたらした。
しかし、生成されたコードのセキュリティと品質に関する懸念が持ち上がっている。
本研究は,LLMの行動学習をセキュアにするための枠組みを導入することで,これらの課題に対処することを目的とする。
論文 参考訳（メタデータ） (2024-06-18T11:29:34Z) - Learning to Poison Large Language Models During Instruction Tuning [12.521338629194503]
この研究は、命令チューニングプロセスを利用するのに適した新しいデータ中毒攻撃を設計することで、LLM(Large Language Models)のさらなるセキュリティリスクを特定する。
本稿では,逆方向誘導学習(GBTL)アルゴリズムを提案する。
In-context Learning(ICL)とContinuous Learning(CL)の2つの防衛戦略を提案する。
論文 参考訳（メタデータ） (2024-02-21T01:30:03Z) - Data Poisoning for In-context Learning [49.77204165250528]
In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。
本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。
ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
論文 参考訳（メタデータ） (2024-02-03T14:20:20Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳（メタデータ） (2024-01-01T16:51:20Z) - Hijacking Large Language Models via Adversarial In-Context Learning [8.15194326639149]
In-context Learning (ICL)は、特定の下流タスクにLLMを活用する強力なパラダイムとして登場した。
既存の攻撃は、検出しやすく、外部モデルに依存しているか、ICLに対する特異性を欠いている。
この研究は、これらの問題に対処するために、新たなICLに対するトランスファー可能な攻撃を導入する。
論文 参考訳（メタデータ） (2023-11-16T15:01:48Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳（メタデータ） (2023-02-23T17:14:38Z) - A Survey on In-context Learning [77.78614055956365]
In-context Learning (ICL) は自然言語処理(NLP)の新しいパラダイムとして登場した。
まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。
次に、トレーニング戦略、迅速なデザイン戦略、関連する分析を含む高度なテクニックを組織化し、議論する。
論文 参考訳（メタデータ） (2022-12-31T15:57:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。