論文の概要: Towards More Realistic Extraction Attacks: An Adversarial Perspective

• arxiv url: http://arxiv.org/abs/2407.02596v1
• Date: Tue, 2 Jul 2024 18:33:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 18:33:58.502337
• Title: Towards More Realistic Extraction Attacks: An Adversarial Perspective
• Title（参考訳）: より現実的な抽出攻撃に向けて:敵対的視点
• Authors: Yash More, Prakhar Ganesh, Golnoosh Farnadi,
• Abstract要約: 言語モデルは、トレーニングデータの大部分を記憶しやすく、抽出攻撃に対して脆弱である。 本稿では,言語モデルの脆さを活かして,敵対的観点からの抽出攻撃を再考する。
• 参考スコア（独自算出の注目度）: 4.932130498861987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are prone to memorizing large parts of their training data, making them vulnerable to extraction attacks. Existing research on these attacks remains limited in scope, often studying isolated trends rather than the real-world interactions with these models. In this paper, we revisit extraction attacks from an adversarial perspective, exploiting the brittleness of language models. We find significant churn in extraction attack trends, i.e., even minor, unintuitive changes to the prompt, or targeting smaller models and older checkpoints, can exacerbate the risks of extraction by up to $2-4 \times$. Moreover, relying solely on the widely accepted verbatim match underestimates the extent of extracted information, and we provide various alternatives to more accurately capture the true risks of extraction. We conclude our discussion with data deduplication, a commonly suggested mitigation strategy, and find that while it addresses some memorization concerns, it remains vulnerable to the same escalation of extraction risks against a real-world adversary. Our findings highlight the necessity of acknowledging an adversary's true capabilities to avoid underestimating extraction risks.
• Abstract（参考訳）: 言語モデルは、トレーニングデータの大部分を記憶しやすく、抽出攻撃に対して脆弱である。 これらの攻撃に関する既存の研究は範囲に限られており、しばしばこれらのモデルとの現実的な相互作用よりも孤立した傾向を研究する。 本稿では,言語モデルの脆さを活かして,敵対的観点からの抽出攻撃を再考する。 例えば、プロンプトに対する微妙で直感的な変更や、より小さなモデルや古いチェックポイントをターゲットにしても、抽出のリスクを最大2-4 \times$で悪化させる可能性がある。 さらに,広く受け入れられている動詞マッチングのみに頼って抽出情報の程度を過小評価し,抽出の真のリスクをより正確に把握するための様々な代替手段を提案する。 我々は、一般的に推奨される緩和戦略であるデータ重複に関する議論を締めくくり、暗記の懸念に対処しながらも、現実世界の敵に対する抽出リスクのエスカレーションに対して脆弱であることに気付く。 本研究は, 抽出リスクの過小評価を回避するために, 敵の真の能力を認める必要性を浮き彫りにした。

関連論文リスト

• Privacy Re-identification Attacks on Tabular GANs [0.0]
  生成モデルは過度に適合し、トレーニングデータから機密情報を漏洩させる可能性がある。 合成データセット作成にGAN(Generative Adversarial Network)を用いることによって生じる可能性のあるプライバシーリスクについて検討する。
  論文  参考訳（メタデータ） (2024-03-31T14:14:00Z)
• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• Transpose Attack: Stealing Datasets with Bidirectional Training [4.166238443183223]
  敵は正統なモデルの下で保護された学習環境からデータセットを抽出できることを示す。 本稿では,感染モデルを検出するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-13T15:14:50Z)
• Backdoor Attacks Against Incremental Learners: An Empirical Evaluation Study [79.33449311057088]
  本稿では,11人の典型的なインクリメンタル学習者の3つの学習シナリオに対する中毒ベースのバックドア攻撃に対する高い脆弱性を実証的に明らかにする。 アクティベーションクラスタリングに基づく防御機構は,潜在的なセキュリティリスクを軽減するためのトリガーパターンの検出に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-05-28T09:17:48Z)
• Careful What You Wish For: on the Extraction of Adversarially Trained Models [2.707154152696381]
  最近の機械学習(ML)モデルに対する攻撃は、いくつかのセキュリティとプライバシの脅威を引き起こす。 本稿では,敵の学習したモデルに対する抽出攻撃を評価する枠組みを提案する。 本研究では, 自然学習環境下で得られたモデルよりも, 敵の訓練を受けたモデルの方が抽出攻撃に対して脆弱であることを示す。
  論文  参考訳（メタデータ） (2022-07-21T16:04:37Z)
• Adversarial Robustness of Deep Reinforcement Learning based Dynamic Recommender Systems [50.758281304737444]
  本稿では,強化学習に基づく対話型レコメンデーションシステムにおける敵例の探索と攻撃検出を提案する。 まず、入力に摂動を加え、カジュアルな要因に介入することで、異なる種類の逆例を作成する。 そこで,本研究では,人工データに基づく深層学習に基づく分類器による潜在的攻撃を検出することにより,推薦システムを強化した。
  論文  参考訳（メタデータ） (2021-12-02T04:12:24Z)
• Detecting adversaries in Crowdsourcing [71.20185379303479]
  本研究は, クラウドソース型分類における敵の影響を, 人気のダウィド・アンド・スケネモデルを用いて検討する。 敵は、クラウドソーシングモデルから任意に逸脱することを許され、潜在的に協力する可能性がある。 我々は,アノテータ応答の2次モーメント構造を利用して,多数の敵を識別し,クラウドソーシングタスクへの影響を軽減するアプローチを開発した。
  論文  参考訳（メタデータ） (2021-10-07T15:07:07Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• Adversarial Targeted Forgetting in Regularization and Generative Based Continual Learning Models [2.8021833233819486]
  継続的(あるいはインクリメンタル)な学習アプローチは、その後のバッチやストリーミングデータから追加の知識やタスクを学ぶ必要がある場合に使用される。 知的敵は、既存の知識を時間とともに保持する連続学習アルゴリズムの能力を活用できることを示す。 敵は、そのタスクのテストインスタンスに慎重に設計されたバックドアサンプルを挿入することで、任意のタスクについて「偽のメモリ」を作成できることを示します。
  論文  参考訳（メタデータ） (2021-02-16T18:45:01Z)
• Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
  本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。 ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。 防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
  論文  参考訳（メタデータ） (2020-09-01T12:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。