論文の概要: Data Poisoning for In-context Learning

• arxiv url: http://arxiv.org/abs/2402.02160v2
• Date: Thu, 28 Mar 2024 01:42:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 20:52:50.518300
• Title: Data Poisoning for In-context Learning
• Title（参考訳）: テキスト内学習のためのデータポジショニング
• Authors: Pengfei He, Han Xu, Yue Xing, Hui Liu, Makoto Yamada, Jiliang Tang,
• Abstract要約: In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。 本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。 ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
• 参考スコア（独自算出の注目度）: 49.77204165250528
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the domain of large language models (LLMs), in-context learning (ICL) has been recognized for its innovative ability to adapt to new tasks, relying on examples rather than retraining or fine-tuning. This paper delves into the critical issue of ICL's susceptibility to data poisoning attacks, an area not yet fully explored. We wonder whether ICL is vulnerable, with adversaries capable of manipulating example data to degrade model performance. To address this, we introduce ICLPoison, a specialized attacking framework conceived to exploit the learning mechanisms of ICL. Our approach uniquely employs discrete text perturbations to strategically influence the hidden states of LLMs during the ICL process. We outline three representative strategies to implement attacks under our framework, each rigorously evaluated across a variety of models and tasks. Our comprehensive tests, including trials on the sophisticated GPT-4 model, demonstrate that ICL's performance is significantly compromised under our framework. These revelations indicate an urgent need for enhanced defense mechanisms to safeguard the integrity and reliability of LLMs in applications relying on in-context learning.
• Abstract（参考訳）: 大規模言語モデル(LLM)の分野では、インコンテキスト学習(ICL)が新しいタスクに適応する革新的な能力があることが認識されている。 本論文は、ICLによるデータ中毒攻撃に対する感受性の重大な問題について論じる。 ICLは、モデル性能を劣化させるために、サンプルデータを操作できる敵がいて、脆弱性があるのかどうか疑問である。 そこで本研究では,ICLの学習機構を活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。 ICLプロセス中にLSMの隠れ状態に戦略的に影響を与えるために、個別のテキスト摂動を用いる。 フレームワーク上で攻撃を実行するための3つの代表的な戦略を概説し、それぞれが様々なモデルやタスクに対して厳格に評価する。 高度なGPT-4モデルの試行を含む包括的テストは、ICLの性能が我々のフレームワークで著しく損なわれていることを示す。 これらの暴露は、文脈内学習に依存したアプリケーションにおいて、LLMの完全性と信頼性を保護するための防御機構の強化が緊急に必要であることを示している。

関連論文リスト

• Multimodal Contrastive In-Context Learning [0.9120312014267044]
  本稿では,Large Language Models (LLMs) における勾配なしインコンテキスト学習 (ICL) の理解を高めるために,新しいマルチモーダルコントラスト型インコンテキスト学習フレームワークを提案する。 まず、実世界におけるICLの対照的な解釈を示し、ICLの差別化要因としてキー値表現の距離を示す。 第2に、実世界のデータセットに対するマルチモーダル入力フォーマットにおけるバイアスに対処する分析フレームワークを開発する。 第3に、ヘイトフルミームの検出の有効性を示すICLのオンザフライアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-23T10:10:01Z)
• Detecting and Understanding Vulnerabilities in Language Models via Mechanistic Interpretability [44.99833362998488]
  大規模言語モデル(LLM)は、幅広いタスクで素晴らしいパフォーマンスを示している。 特にLSMは敵攻撃に弱いことが知られており、入力に対する非受容的な変更はモデルの出力を誤解させる可能性がある。 本稿では,メカニスティック・インタプリタビリティ(MI)技術に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T09:55:34Z)
• ICLEval: Evaluating In-Context Learning Ability of Large Language Models [68.7494310749199]
  In-Context Learning (ICL) は大規模言語モデル(LLM)の重要な能力であり、相互接続された入力の理解と推論を可能にする。 既存の評価フレームワークは主に言語能力と知識に重点を置いており、しばしばICL能力の評価を見落としている。 LLMのICL能力を評価するためにICLEvalベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-21T08:06:10Z)
• Evaluating and Safeguarding the Adversarial Robustness of Retrieval-Based In-Context Learning [21.018893978967053]
  In-Context Learning (ICL) は、プロンプトでデモをエンコードするために使用される選択、順序、動詞に敏感である。 Retrieval-Augmented ICLメソッドは、レトリバーを活用して、意味論的に関連する例を例示として抽出することで、この問題に対処しようとする。 本研究は, 検索強化モデルにより, 検体攻撃に対する堅牢性が向上することを明らかにする。 そこで本研究では,攻撃したサンプルを用いてサンプルプールを充実させる,効果的な訓練自由対人防御手法であるDARDを導入する。
  論文  参考訳（メタデータ） (2024-05-24T23:56:36Z)
• Assessing Adversarial Robustness of Large Language Models: An Empirical Study [24.271839264950387]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、敵の攻撃に対する頑強さは依然として重要な問題である。 Llama, OPT, T5 など,主要なオープンソース LLM の脆弱性を露呈する,新しいホワイトボックス型攻撃手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:00:28Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Learning to Poison Large Language Models During Instruction Tuning [12.521338629194503]
  この研究は、命令チューニングプロセスを利用するのに適した新しいデータ中毒攻撃を設計することで、LLM(Large Language Models)のさらなるセキュリティリスクを特定する。 本稿では,逆方向誘導学習(GBTL)アルゴリズムを提案する。 In-context Learning(ICL)とContinuous Learning(CL)の2つの防衛戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-21T01:30:03Z)
• Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning [77.7070536959126]
  大規模言語モデル(LLM)の有望な能力としてインコンテキスト学習(ICL)が出現する 本稿では,情報フローレンズを用いたICLの動作機構について検討する。 本稿では,ICL性能向上のためのアンカー再重み付け手法,推論の高速化のための実演圧縮手法,GPT2-XLにおけるICLエラーの診断のための解析フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T15:26:20Z)
• A Survey on In-context Learning [77.78614055956365]
  In-context Learning (ICL) は自然言語処理(NLP)の新しいパラダイムとして登場した。 まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。 次に、トレーニング戦略、迅速なデザイン戦略、関連する分析を含む高度なテクニックを組織化し、議論する。
  論文  参考訳（メタデータ） (2022-12-31T15:57:09Z)
• ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models [64.03398193325572]
  機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。 私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。 私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
  論文  参考訳（メタデータ） (2021-02-04T11:35:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。