論文の概要: Towards More Realistic Extraction Attacks: An Adversarial Perspective

• arxiv url: http://arxiv.org/abs/2407.02596v2
• Date: Fri, 08 Nov 2024 22:36:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:06:12.884007
• Title: Towards More Realistic Extraction Attacks: An Adversarial Perspective
• Title（参考訳）: より現実的な抽出攻撃に向けて:敵対的視点
• Authors: Yash More, Prakhar Ganesh, Golnoosh Farnadi,
• Abstract要約: 本稿では,敵の視点からの抽出攻撃を再考する。 抽出の傾向、すなわちプロンプトの直感的変化に顕著な変化が見られる。 データ重複のような緩和戦略であっても、現実世界の敵に対する抽出リスクのエスカレーションは同じです。
• 参考スコア（独自算出の注目度）: 4.932130498861987
• License:
• Abstract: Language models are prone to memorizing parts of their training data which makes them vulnerable to extraction attacks. Existing research often examines isolated setups--such as evaluating extraction risks from a single model or with a fixed prompt design. However, a real-world adversary could access models across various sizes and checkpoints, as well as exploit prompt sensitivity, resulting in a considerably larger attack surface than previously studied. In this paper, we revisit extraction attacks from an adversarial perspective, focusing on how to leverage the brittleness of language models and the multi-faceted access to the underlying data. We find significant churn in extraction trends, i.e., even unintuitive changes to the prompt, or targeting smaller models and earlier checkpoints, can extract distinct information. By combining information from multiple attacks, our adversary is able to increase the extraction risks by up to $2 \times$. Furthermore, even with mitigation strategies like data deduplication, we find the same escalation of extraction risks against a real-world adversary. We conclude with a set of case studies, including detecting pre-training data, copyright violations, and extracting personally identifiable information, showing how our more realistic adversary can outperform existing adversaries in the literature.
• Abstract（参考訳）: 言語モデルは、トレーニングデータの一部を記憶する傾向があるため、抽出攻撃に対して脆弱である。 既存の研究では、単一モデルからの抽出リスクの評価や、固定されたプロンプト設計など、独立した設定をしばしば検討している。 しかし、現実世界の敵は様々なサイズやチェックポイントのモデルにアクセスでき、即時感度を悪用できるため、これまで研究されたよりも攻撃面がかなり大きい。 本稿では,言語モデルの脆さと,その基盤となるデータへの多面的アクセスの活用に焦点をあてて,敵対的観点からの抽出攻撃を再考する。 抽出トレンド、すなわちプロンプトに対する直感的な変更や、より小さなモデルや初期のチェックポイントをターゲットにした変更でさえ、異なる情報を抽出することができる。 複数の攻撃からの情報を組み合わせることで、敵は抽出リスクを最大2ドルまで増やすことができる。 さらに、データ重複のような緩和戦略であっても、現実世界の敵に対する抽出リスクのエスカレーションが同じです。 本研究は,事前学習データの検出,著作権侵害,個人識別情報抽出などの事例スタディで締めくくった。

関連論文リスト

• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• Shared Adversarial Unlearning: Backdoor Mitigation by Unlearning Shared Adversarial Examples [67.66153875643964]
  バックドア攻撃は、機械学習モデルに対する深刻なセキュリティ脅威である。 本稿では,小さなクリーンデータセットを用いて,バックドアモデルの浄化作業について検討する。 バックドアリスクと敵的リスクの関連性を確立することにより、バックドアリスクに対する新たな上限を導出する。
  論文  参考訳（メタデータ） (2023-07-20T03:56:04Z)
• Backdoor Attacks Against Incremental Learners: An Empirical Evaluation Study [79.33449311057088]
  本稿では,11人の典型的なインクリメンタル学習者の3つの学習シナリオに対する中毒ベースのバックドア攻撃に対する高い脆弱性を実証的に明らかにする。 アクティベーションクラスタリングに基づく防御機構は,潜在的なセキュリティリスクを軽減するためのトリガーパターンの検出に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-05-28T09:17:48Z)
• Careful What You Wish For: on the Extraction of Adversarially Trained Models [2.707154152696381]
  最近の機械学習(ML)モデルに対する攻撃は、いくつかのセキュリティとプライバシの脅威を引き起こす。 本稿では,敵の学習したモデルに対する抽出攻撃を評価する枠組みを提案する。 本研究では, 自然学習環境下で得られたモデルよりも, 敵の訓練を受けたモデルの方が抽出攻撃に対して脆弱であることを示す。
  論文  参考訳（メタデータ） (2022-07-21T16:04:37Z)
• Adversarial Robustness of Deep Reinforcement Learning based Dynamic Recommender Systems [50.758281304737444]
  本稿では,強化学習に基づく対話型レコメンデーションシステムにおける敵例の探索と攻撃検出を提案する。 まず、入力に摂動を加え、カジュアルな要因に介入することで、異なる種類の逆例を作成する。 そこで,本研究では,人工データに基づく深層学習に基づく分類器による潜在的攻撃を検出することにより,推薦システムを強化した。
  論文  参考訳（メタデータ） (2021-12-02T04:12:24Z)
• Adversarial Targeted Forgetting in Regularization and Generative Based Continual Learning Models [2.8021833233819486]
  継続的(あるいはインクリメンタル)な学習アプローチは、その後のバッチやストリーミングデータから追加の知識やタスクを学ぶ必要がある場合に使用される。 知的敵は、既存の知識を時間とともに保持する連続学習アルゴリズムの能力を活用できることを示す。 敵は、そのタスクのテストインスタンスに慎重に設計されたバックドアサンプルを挿入することで、任意のタスクについて「偽のメモリ」を作成できることを示します。
  論文  参考訳（メタデータ） (2021-02-16T18:45:01Z)
• Learning to Separate Clusters of Adversarial Representations for Robust Adversarial Detection [50.03939695025513]
  本稿では,最近導入された非破壊的特徴を動機とした新しい確率的対向検出器を提案する。 本稿では,非ロバスト特徴を逆例の共通性と考え,その性質に対応する表現空間におけるクラスターの探索が可能であることを推定する。 このアイデアは、別のクラスタ内の逆表現の確率推定分布を導出し、その分布を確率に基づく逆検出器として活用する。
  論文  参考訳（メタデータ） (2020-12-07T07:21:18Z)
• Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
  本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。 ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。 防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
  論文  参考訳（メタデータ） (2020-09-01T12:54:54Z)
• Extending Adversarial Attacks to Produce Adversarial Class Probability Distributions [1.439518478021091]
  高い不正率を維持しながら,クラスに対する確率分布を近似できることを示す。 この結果から, クラスに対する確率分布は, 高い不正率を維持しつつ, 密に近似できることが示唆された。
  論文  参考訳（メタデータ） (2020-04-14T09:39:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。