論文の概要: UTrace: Poisoning Forensics for Private Collaborative Learning

• arxiv url: http://arxiv.org/abs/2409.15126v1
• Date: Mon, 23 Sep 2024 15:32:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 14:23:12.752094
• Title: UTrace: Poisoning Forensics for Private Collaborative Learning
• Title（参考訳）: UTrace: プライベートコラボレーション学習のための犯罪捜査
• Authors: Evan Rose, Hidde Lycklama, Harsh Chaudhari, Anwar Hithnawi, Alina Oprea,
• Abstract要約: 我々は、マシンラーニング(PPML)における中毒攻撃のユーザレベルトレースバックのためのフレームワークであるUTraceを紹介する。 UTraceは低毒性率で有効であり、複数のデータ所有者に分散した攻撃に対して耐性がある。 10件の中毒に対するUTraceの有効性を示した。
• 参考スコア（独自算出の注目度）: 8.161400729150209
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Privacy-preserving machine learning (PPML) enables multiple data owners to contribute their data privately to a set of servers that run a secure multi-party computation (MPC) protocol to train a joint ML model. In these protocols, the input data remains private throughout the training process, and only the resulting model is made available. While this approach benefits privacy, it also exacerbates the risks of data poisoning, where compromised data owners induce undesirable model behavior by contributing malicious datasets. Existing MPC mechanisms can mitigate certain poisoning attacks, but these measures are not exhaustive. To complement existing poisoning defenses, we introduce UTrace: a framework for User-level Traceback of poisoning attacks in PPML. Utrace computes user responsibility scores using gradient similarity metrics aggregated across the most relevant samples in an owner's dataset. UTrace is effective at low poisoning rates and is resilient to poisoning attacks distributed across multiple data owners, unlike existing unlearning-based methods. We introduce methods for checkpointing gradients with low storage overhead, enabling traceback in the absence of data owners at deployment time. We also design several optimizations that reduce traceback time and communication in MPC. We provide a comprehensive evaluation of UTrace across four datasets from three data modalities (vision, text, and malware) and show its effectiveness against 10 poisoning attacks.
• Abstract（参考訳）: プライバシ保存機械学習(PPML)は、複数のデータ所有者が、セキュアなマルチパーティ計算(MPC)プロトコルを実行する一連のサーバにデータをプライベートにコントリビュートして、共同MLモデルをトレーニングすることを可能にする。 これらのプロトコルでは、入力データはトレーニングプロセスを通してプライベートのままであり、結果として得られるモデルのみが利用可能である。 このアプローチはプライバシの恩恵を受ける一方で、悪意のあるデータセットにコントリビュートすることで、妥協したデータ所有者が望ましくないモデル動作を誘発するデータ中毒のリスクも悪化させる。 既存のMPC機構は特定の中毒攻撃を軽減できるが、これらの対策は徹底的ではない。 既存の毒殺対策を補完するため,PPML におけるユーザレベルの毒殺攻撃追跡のためのフレームワーク UTrace を紹介した。 Utraceは、所有者のデータセットで最も関連性の高いサンプルに集約された勾配類似度メトリクスを使用して、ユーザの責任スコアを算出する。 UTraceは低中毒率で有効であり、既存の未学習の方法とは異なり、複数のデータ所有者にまたがる攻撃に対して耐性がある。 ストレージオーバーヘッドの少ないグラデーションをチェックポイントする方法を導入し、デプロイ時にデータ所有者がいない場合のトレースバックを可能にする。 また、MPCにおけるトレースバック時間と通信時間を短縮する最適化を設計する。 我々は,3つのデータモダリティ(ビジョン,テキスト,マルウェア)から4つのデータセットにまたがるUTraceの総合的な評価を行い,その有効性を示す。

関連論文リスト

• Data Poisoning Attacks to Locally Differentially Private Frequent Itemset Mining Protocols [13.31395140464466]
  ローカルディファレンシャルプライバシ(LDP)は、信頼できないデータコレクタが、プライバシに違反することなく、ユーザのデータを集約する方法を提供する。 周波数推定、頻繁なアイテムセットマイニング、機械学習など、LDPの保護の下で、さまざまなプライバシー保護データ分析タスクが研究されている。 最近の研究は、データ中毒攻撃に対する特定のLDPプロトコルの脆弱性を実証している。
  論文  参考訳（メタデータ） (2024-06-27T18:11:19Z)
• Safe Training with Sensitive In-domain Data: Leveraging Data Fragmentation To Mitigate Linkage Attacks [2.8186733524862158]
  現在のテキスト生成モデルは、機密情報を含む可能性がある実際のデータを使って訓練される。 本稿では,断片化されたデータをランダムにグループ化されたドメイン固有の短いフレーズの形で見る,より安全な代替手法を提案する。
  論文  参考訳（メタデータ） (2024-04-30T12:09:55Z)
• On the Exploitability of Instruction Tuning [103.8077787502381]
  そこで本研究では,モデルの動作を変えるための命令チューニングを,相手がどのように活用できるかを検討する。 自動データ中毒パイプラインである textitAutoPoison を提案する。 結果から、AutoPoisonは、少数のデータだけを中毒することで、敵がモデルの振る舞いを変えることを可能にする。
  論文  参考訳（メタデータ） (2023-06-28T17:54:04Z)
• Stop Uploading Test Data in Plain Text: Practical Strategies for Mitigating Data Contamination by Evaluation Benchmarks [70.39633252935445]
  データ汚染は、大規模な自動クロールコーパスで事前訓練されたモデルの台頭によって、普及し、課題となっている。 クローズドモデルの場合、トレーニングデータはトレードシークレットになり、オープンモデルであっても汚染を検出するのは簡単ではない。 1)公開するテストデータを公開鍵で暗号化し,デリバティブ配信を許可する,(2)クローズドAPI保持者からの要求トレーニング排他的コントロールを許可する,(2)評価を拒否してテストデータを保護する,(3)インターネット上のソリューションで表示されるデータを避け,インターネット由来のWebページコンテキストを解放する,という3つの方法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T12:23:38Z)
• Membership Inference Attacks against Synthetic Data through Overfitting Detection [84.02632160692995]
  我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。 生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
  論文  参考訳（メタデータ） (2023-02-24T11:27:39Z)
• Temporal Robustness against Data Poisoning [69.01705108817785]
  データ中毒は、悪意のあるトレーニングデータを通じて、敵対者が機械学習アルゴリズムの振る舞いを操作する場合を考慮している。 本研究では,攻撃開始時間と攻撃持続時間を測定する2つの新しい指標である耳線と持続時間を用いたデータ中毒の時間的脅威モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-07T18:59:19Z)
• Try to Avoid Attacks: A Federated Data Sanitization Defense for Healthcare IoMT Systems [4.024567343465081]
  IoMTの分布は、データ中毒攻撃から保護されるリスクがある。 処方されたデータは、医療データを偽造することによって製造することができる。 本稿では,フェデレーテッドデータ衛生防衛(Federated Data Sanitization Defense)について紹介する。
  論文  参考訳（メタデータ） (2022-11-03T05:21:39Z)
• Autoregressive Perturbations for Data Poisoning [54.205200221427994]
  ソーシャルメディアからのデータスクレイピングは、不正なデータの使用に関する懸念が高まっている。 データ中毒攻撃は、スクラップ対策として提案されている。 より広範なデータセットにアクセスせずに有毒なデータを生成できる自動回帰(AR)中毒を導入する。
  論文  参考訳（メタデータ） (2022-06-08T06:24:51Z)
• BEAS: Blockchain Enabled Asynchronous & Secure Federated Machine Learning [0.0]
  我々は、N-party Federated Learningのための最初のブロックチェーンベースのフレームワークBEASを紹介する。 グラデーションプルーニングを使用したトレーニングデータの厳格なプライバシー保証を提供する。 異常検出プロトコルは、データ汚染攻撃のリスクを最小限に抑えるために使用される。 また、異種学習環境における早期収束を防止するための新しいプロトコルも定義する。
  論文  参考訳（メタデータ） (2022-02-06T17:11:14Z)
• Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
  我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。 我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
  論文  参考訳（メタデータ） (2021-06-18T08:29:53Z)
• Systematic Evaluation of Backdoor Data Poisoning Attacks on Image Classifiers [6.352532169433872]
  コンピュータビジョン研究において、機械学習(ML)システムの潜在的な安全性リスクとして、バックドアデータ中毒攻撃が実証されている。 我々の研究は、ML画像分類器のための事前のバックドアデータポゾン研究に基づいている。 有毒なモデルでは、パフォーマンス検査だけでは検出が難しいことが分かりました。
  論文  参考訳（メタデータ） (2020-04-24T02:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。