論文の概要: Persistent Pre-Training Poisoning of LLMs

• arxiv url: http://arxiv.org/abs/2410.13722v1
• Date: Thu, 17 Oct 2024 16:27:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:20:33.064103
• Title: Persistent Pre-Training Poisoning of LLMs
• Title（参考訳）: LLMの持続的予処理
• Authors: Yiming Zhang, Javier Rando, Ivan Evtimov, Jianfeng Chi, Eric Michael Smith, Nicholas Carlini, Florian Tramèr, Daphne Ippolito,
• Abstract要約: 我々の研究は、事前学習中に言語モデルも妥協できるかどうかを初めて評価した。 我々は、有害な敵に対する影響を測定するために、スクラッチから一連のLSMを事前訓練する。 我々の主な結果は、モデルの事前トレーニングデータセットの0.1%しか中毒にならず、4つの攻撃のうち3つがポストトレーニングを通じて持続するのに十分であるということです。
• 参考スコア（独自算出の注目度）: 71.53046642099142
• License:
• Abstract: Large language models are pre-trained on uncurated text datasets consisting of trillions of tokens scraped from the Web. Prior work has shown that: (1) web-scraped pre-training datasets can be practically poisoned by malicious actors; and (2) adversaries can compromise language models after poisoning fine-tuning datasets. Our work evaluates for the first time whether language models can also be compromised during pre-training, with a focus on the persistence of pre-training attacks after models are fine-tuned as helpful and harmless chatbots (i.e., after SFT and DPO). We pre-train a series of LLMs from scratch to measure the impact of a potential poisoning adversary under four different attack objectives (denial-of-service, belief manipulation, jailbreaking, and prompt stealing), and across a wide range of model sizes (from 600M to 7B). Our main result is that poisoning only 0.1% of a model's pre-training dataset is sufficient for three out of four attacks to measurably persist through post-training. Moreover, simple attacks like denial-of-service persist through post-training with a poisoning rate of only 0.001%.
• Abstract（参考訳）: 大規模な言語モデルは、Webからスクラップされた数兆のトークンからなる未処理のテキストデータセットで事前訓練される。 1)ウェブスクラッピングされた事前学習データセットは、悪意あるアクターによって実質的に有害になりうること、(2)敵は、微調整データセットを汚染した後、言語モデルに妥協する可能性があること。 我々の研究は、事前訓練中に言語モデルも妥協できるかどうかを初めて評価し、モデル後の事前訓練攻撃の持続性に焦点をあてて、有用で無害なチャットボット(SFTやDPO以降)として微調整する。 攻撃対象の4種類(否定的、信条操作、脱獄、迅速な盗難)と、モデルサイズ(600Mから7Bまで)で、潜在的毒殺敵の効果を測定するために、スクラッチから一連のLSMを事前訓練した。 我々の主な成果は、モデルの事前トレーニングデータセットの0.1%しか毒を投与していないことで、4つの攻撃のうち3つがポストトレーニングによって測定されるのに十分であるということです。 さらに、デニアル・オブ・サービスのような単純な攻撃は、わずか0.001%の毒殺率でポストトレーニングを通じて継続する。

関連論文リスト

• Pandora's White-Box: Precise Training Data Detection and Extraction in Large Language Models [4.081098869497239]
  我々は,大規模言語モデル(LLM)に対する最先端のプライバシ攻撃を開発する。 事前訓練されたLLMに対する新たなメンバーシップ推論攻撃(MIA)は、ベースライン攻撃の数百倍の精度で実行される。 微調整では, ベースモデルと微調整モデルとの損失率に基づく単純な攻撃により, ほぼ完全なMIA性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-02-26T20:41:50Z)
• Indiscriminate Data Poisoning Attacks on Pre-trained Feature Extractors [26.36344184385407]
  本稿では,事前訓練した特徴抽出器を応用した下流タスクに対する無差別攻撃の脅威について検討する。 入力空間攻撃とは,(1)既存の攻撃を修正して入力空間に有毒なデータを作る攻撃と,(2)学習した特徴表現をデータセットとして扱うことで有毒な特徴を見つける攻撃である。 実験では、同じデータセット上の微調整やドメイン適応を考慮した転帰学習など、下流の一般的なタスクにおける攻撃について検討した。
  論文  参考訳（メタデータ） (2024-02-20T01:12:59Z)
• Setting the Trap: Capturing and Defeating Backdoors in Pretrained Language Models through Honeypots [68.84056762301329]
  近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。 バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。 我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
  論文  参考訳（メタデータ） (2023-10-28T08:21:16Z)
• Poisoning Web-Scale Training Datasets is Practical [73.34964403079775]
  モデルの性能に悪意のある事例を意図的に導入する2つの新しいデータセット中毒攻撃を導入する。 最初の攻撃、スプリットビュー中毒は、インターネットコンテンツの不変性を利用して、データセットアノテータの初期ビューが、その後のクライアントがダウンロードしたビューとは異なることを保証します。 第2の攻撃、フロントラン中毒は、クラウドソースされたコンテンツを定期的にスナップショットするWebスケールデータセットをターゲットにしている。
  論文  参考訳（メタデータ） (2023-02-20T18:30:54Z)
• Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
  我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。 我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
  論文  参考訳（メタデータ） (2021-06-18T08:29:53Z)
• Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
  Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。 我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。 フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
  論文  参考訳（メタデータ） (2020-09-04T16:17:54Z)
• Weight Poisoning Attacks on Pre-trained Models [103.19413805873585]
  本研究は, バックドアを微調整した後に, バックドアを露出する脆弱性を伴って, 事前訓練した重量を注入した場合に, 重量中毒を発生させることが可能であることを示す。 感情分類,毒性検出,スパム検出に関する実験により,この攻撃は広く適用可能であり,深刻な脅威となることが示された。
  論文  参考訳（メタデータ） (2020-04-14T16:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。