論文の概要: Poisoning Web-Scale Training Datasets is Practical

• arxiv url: http://arxiv.org/abs/2302.10149v2
• Date: Mon, 6 May 2024 06:47:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 01:45:50.009624
• Title: Poisoning Web-Scale Training Datasets is Practical
• Title（参考訳）: Webスケールトレーニングデータセットの収集は現実的
• Authors: Nicholas Carlini, Matthew Jagielski, Christopher A. Choquette-Choo, Daniel Paleka, Will Pearce, Hyrum Anderson, Andreas Terzis, Kurt Thomas, Florian Tramèr,
• Abstract要約: モデルの性能に悪意のある事例を意図的に導入する2つの新しいデータセット中毒攻撃を導入する。 最初の攻撃、スプリットビュー中毒は、インターネットコンテンツの不変性を利用して、データセットアノテータの初期ビューが、その後のクライアントがダウンロードしたビューとは異なることを保証します。 第2の攻撃、フロントラン中毒は、クラウドソースされたコンテンツを定期的にスナップショットするWebスケールデータセットをターゲットにしている。
• 参考スコア（独自算出の注目度）: 73.34964403079775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models are often trained on distributed, web-scale datasets crawled from the internet. In this paper, we introduce two new dataset poisoning attacks that intentionally introduce malicious examples to a model's performance. Our attacks are immediately practical and could, today, poison 10 popular datasets. Our first attack, split-view poisoning, exploits the mutable nature of internet content to ensure a dataset annotator's initial view of the dataset differs from the view downloaded by subsequent clients. By exploiting specific invalid trust assumptions, we show how we could have poisoned 0.01% of the LAION-400M or COYO-700M datasets for just $60 USD. Our second attack, frontrunning poisoning, targets web-scale datasets that periodically snapshot crowd-sourced content -- such as Wikipedia -- where an attacker only needs a time-limited window to inject malicious examples. In light of both attacks, we notify the maintainers of each affected dataset and recommended several low-overhead defenses.
• Abstract（参考訳）: ディープラーニングモデルは、インターネットからクロールされた分散Webスケールデータセットでトレーニングされることが多い。 本稿では,モデルの性能に悪意のある事例を意図的に導入する2つの新しいデータセット中毒攻撃を提案する。 私たちの攻撃はすぐに実用的になり、今日では10の人気のデータセットに毒を盛る可能性がある。 私たちの最初の攻撃、スプリットビュー中毒は、インターネットコンテンツの不変性を利用して、データセットアノテータの初期ビューが、その後のクライアントがダウンロードしたビューとは異なることを保証します。 特定の不正な信頼の仮定を利用することで、LAION-400MまたはCOYO-700Mデータセットの0.01%をわずか60USDで毒した可能性があることを示す。 攻撃者は悪意のある例を注入するために、時間制限のウィンドウしか必要としない。 どちらの攻撃も考慮し、影響を受ける各データセットのメンテナに通知し、いくつかの低オーバーヘッド防御を推奨します。

関連論文リスト

• Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game [86.66627242073724]
  本稿では,126,000以上のプロンプトインジェクションと46,000以上のプロンプトベースのプロンプトインジェクションに対する「防御」のデータセットを提案する。 我々の知る限り、これは現在、命令追従 LLM に対する人間生成の敵例の最大のデータセットである。 また、データセットを使用して、2種類のプロンプトインジェクションに対する耐性のベンチマークを作成し、これをプロンプト抽出とプロンプトハイジャックと呼ぶ。
  論文  参考訳（メタデータ） (2023-11-02T06:13:36Z)
• On the Exploitability of Instruction Tuning [103.8077787502381]
  そこで本研究では,モデルの動作を変えるための命令チューニングを,相手がどのように活用できるかを検討する。 自動データ中毒パイプラインである textitAutoPoison を提案する。 結果から、AutoPoisonは、少数のデータだけを中毒することで、敵がモデルの振る舞いを変えることを可能にする。
  論文  参考訳（メタデータ） (2023-06-28T17:54:04Z)
• Autoregressive Perturbations for Data Poisoning [54.205200221427994]
  ソーシャルメディアからのデータスクレイピングは、不正なデータの使用に関する懸念が高まっている。 データ中毒攻撃は、スクラップ対策として提案されている。 より広範なデータセットにアクセスせずに有毒なデータを生成できる自動回帰(AR)中毒を導入する。
  論文  参考訳（メタデータ） (2022-06-08T06:24:51Z)
• Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
  我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。 我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
  論文  参考訳（メタデータ） (2021-06-18T08:29:53Z)
• Influence Based Defense Against Data Poisoning Attacks in Online Learning [9.414651358362391]
  データ中毒は、攻撃者が少数のデータを操作して機械学習モデルのパフォーマンスを低下させる攻撃です。 オンライン環境における学習者のモデル上での有毒トレーニングデータによる劣化を最小限に抑える防衛機構を提案する。
  論文  参考訳（メタデータ） (2021-04-24T08:39:13Z)
• Defening against Adversarial Denial-of-Service Attacks [0.0]
  データ中毒は、機械学習とデータ駆動技術に対する最も関連するセキュリティ脅威の1つです。 我々は,dos有毒なインスタンスを検出する新しい手法を提案する。 2つのdos毒殺攻撃と7つのデータセットに対する我々の防御を評価し、毒殺事例を確実に特定できることを確認します。
  論文  参考訳（メタデータ） (2021-04-14T09:52:36Z)
• Property Inference From Poisoning [15.105224455937025]
  プロパティ推論攻撃は、トレーニングされたモデルにアクセスでき、トレーニングデータのグローバルな統計を抽出しようとする敵を考える。 本研究では,モデルの情報漏洩を増大させることが目的とする中毒攻撃について検討する。 以上より,毒殺攻撃は情報漏洩を著しく促進し,敏感なアプリケーションにおいてより強力な脅威モデルと見なされるべきであることが示唆された。
  論文  参考訳（メタデータ） (2021-01-26T20:35:28Z)
• Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
  Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。 我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。 フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
  論文  参考訳（メタデータ） (2020-09-04T16:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。