論文の概要: ExpShield: Safeguarding Web Text from Unauthorized Crawling and Language Modeling Exploitation

• arxiv url: http://arxiv.org/abs/2412.21123v1
• Date: Mon, 30 Dec 2024 17:52:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:03:42.415704
• Title: ExpShield: Safeguarding Web Text from Unauthorized Crawling and Language Modeling Exploitation
• Title（参考訳）: ExpShield: 不正なクローリングと言語モデリングの爆発からWebテキストを守る
• Authors: Ruixuan Liu, Toan Tran, Tianhao Wang, Hongsheng Hu, Shuo Wang, Li Xiong,
• Abstract要約: モデル学習における誤用を制限するために,見えない摂動をテキストに埋め込んだ能動的自己防衛機構を提案する。 このアプローチにより、サードパーティが防御を行うことなく、データ所有者が機密コンテンツを直接保護することが可能になる。
• 参考スコア（独自算出の注目度）: 17.71790411163849
• License:
• Abstract: As large language models (LLMs) increasingly depend on web-scraped datasets, concerns over unauthorized use of copyrighted or personal content for training have intensified. Despite regulations such as the General Data Protection Regulation (GDPR), data owners still have limited control over the use of their content in model training. To address this, we propose ExpShield, a proactive self-guard mechanism that empowers content owners to embed invisible perturbations into their text, limiting data misuse in LLMs training without affecting readability. This preemptive approach enables data owners to protect sensitive content directly, without relying on a third-party to perform defense. Starting from the random perturbation, we demonstrate the rationale for using perturbation to conceal protected content. We further enhance the efficiency by identifying memorization triggers and creating pitfalls to diverge the model memorization in a more focused way. To validate our defense's effectiveness, we propose a novel metric of instance exploitation which captures the individual risk raised by model training. The experimental results validate the effectiveness of our approach as the MIA AUC decreases from 0.95 to 0.55, and instance exploitation approaches zero. This suggests that the individual risk does not increase after training, underscoring the significance of proactive defenses in protecting copyrighted data.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ますますWebスクラッドなデータセットに依存しているため、トレーニングに著作権や個人的コンテンツの不正使用に対する懸念が高まっている。 GDPR(General Data Protection Regulation)のような規則にもかかわらず、データ所有者はモデルトレーニングにおけるコンテンツの使用を制限されている。 そこで本研究では,コンテンツ所有者がテキストに目に見えない摂動を埋め込むための能動的自己防衛機構であるExpShieldを提案する。 このプリエンプティブアプローチにより、データ所有者は、サードパーティが防御を行うことなく、機密性の高いコンテンツを直接保護することができる。 ランダムな摂動から始めて、摂動を用いて保護されたコンテンツを隠蔽する根拠を実証する。 我々は、記憶のトリガを特定し、より焦点を絞った方法でモデル記憶を分散させる落とし穴を作成することにより、効率をさらに向上する。 防衛効果を検証するために,モデルトレーニングによって引き起こされる個人的リスクを捉えた,インスタンス利用の新たな指標を提案する。 MIA AUC は 0.95 から 0.55 に減少し,インスタンス利用は 0 に近づいた。 これは、個人のリスクはトレーニング後に増加せず、著作権データ保護における積極的防衛の重要性が強調されていることを示唆している。

関連論文リスト

• Game-Theoretic Machine Unlearning: Mitigating Extra Privacy Leakage [12.737028324709609]
  最近の法律では、要求されたデータとその影響を訓練されたモデルから取り除くことが義務付けられている。 本研究では,非学習性能とプライバシ保護の競合関係をシミュレートするゲーム理論マシンアンラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-06T13:47:04Z)
• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Learning to Refuse: Towards Mitigating Privacy Risks in LLMs [6.685921135304385]
  大規模言語モデル(LLM)は、自然言語の理解と生成において顕著な能力を示す。 本研究は、LLMが完全再トレーニングを必要とせず、特定の個人のプライベートデータを保護できることの課題に対処する。 プライバシ保護のためのネーム・アウェア・アンラーニング・フレームワーク(NAUF)を導入する。
  論文  参考訳（メタデータ） (2024-07-14T03:05:53Z)
• Protecting Privacy Through Approximating Optimal Parameters for Sequence Unlearning in Language Models [37.172662930947446]
  言語モデル(LM)は、重大なプライバシーリスクを示す抽出攻撃に対して潜在的に脆弱である。 本稿では,事前学習したLMからターゲットトークンシーケンスを効果的に忘れる新しい未学習手法である,最適パラメータによるプライバシ保護(POP)を提案する。 POPは、9つの分類と4つのダイアログベンチマークにまたがって、保留後の顕著なパフォーマンスを示し、最先端を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2024-06-20T08:12:49Z)
• Ungeneralizable Examples [70.76487163068109]
  学習不能なデータを作成するための現在のアプローチには、小さくて特殊なノイズが組み込まれている。 学習不能データの概念を条件付きデータ学習に拡張し、textbfUntextbf Generalizable textbfExamples (UGEs)を導入する。 UGEは認証されたユーザに対して学習性を示しながら、潜在的なハッカーに対する非学習性を維持している。
  論文  参考訳（メタデータ） (2024-04-22T09:29:14Z)
• Setting the Trap: Capturing and Defeating Backdoors in Pretrained Language Models through Honeypots [68.84056762301329]
  近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。 バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。 我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
  論文  参考訳（メタデータ） (2023-10-28T08:21:16Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
  Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。 我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
  論文  参考訳（メタデータ） (2023-06-06T11:44:42Z)
• The Devil's Advocate: Shattering the Illusion of Unexploitable Data using Diffusion Models [14.018862290487617]
  データ保護の摂動に対抗して、慎重に設計された分極処理が可能であることを示す。 AVATARと呼ばれる我々のアプローチは、最近のアベイラビリティーアタックに対して最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2023-03-15T10:20:49Z)
• Privacy-Preserving Federated Learning on Partitioned Attributes [6.661716208346423]
  フェデレーション学習は、ローカルデータやモデルを公開することなく、協調的なトレーニングを促進する。 ローカルモデルをチューニングし、プライバシー保護された中間表現をリリースする逆学習ベースの手順を紹介します。 精度低下を緩和するために,前方後方分割アルゴリズムに基づく防御法を提案する。
  論文  参考訳（メタデータ） (2021-04-29T14:49:14Z)
• Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
  本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。 ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。 防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
  論文  参考訳（メタデータ） (2020-09-01T12:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。