論文の概要: Watermarking Text Data on Large Language Models for Dataset Copyright

• arxiv url: http://arxiv.org/abs/2305.13257v4
• Date: Fri, 12 Jul 2024 19:29:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 05:18:31.687132
• Title: Watermarking Text Data on Large Language Models for Dataset Copyright
• Title（参考訳）: データセット著作権のための大規模言語モデルによる透かしテキストデータ
• Authors: Yixin Liu, Hongsheng Hu, Xun Chen, Xuyun Zhang, Lichao Sun,
• Abstract要約: ディープモデルは、下流のNLPタスクに有用な普遍言語表現を学習することができる。 ディープラーニングはさまざまなプライバシ攻撃にも脆弱だが、トレーニングデータセットには多くの機密情報が存在している。 バックドアベースのメンバシップ推論手法であるTextMarkerを用いて,新しい透かし手法を提案する。
• 参考スコア（独自算出の注目度）: 25.201753860008004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Substantial research works have shown that deep models, e.g., pre-trained models, on the large corpus can learn universal language representations, which are beneficial for downstream NLP tasks. However, these powerful models are also vulnerable to various privacy attacks, while much sensitive information exists in the training dataset. The attacker can easily steal sensitive information from public models, e.g., individuals' email addresses and phone numbers. In an attempt to address these issues, particularly the unauthorized use of private data, we introduce a novel watermarking technique via a backdoor-based membership inference approach named TextMarker, which can safeguard diverse forms of private information embedded in the training text data. Specifically, TextMarker only requires data owners to mark a small number of samples for data copyright protection under the black-box access assumption to the target model. Through extensive evaluation, we demonstrate the effectiveness of TextMarker on various real-world datasets, e.g., marking only 0.1% of the training dataset is practically sufficient for effective membership inference with negligible effect on model utility. We also discuss potential countermeasures and show that TextMarker is stealthy enough to bypass them.
• Abstract（参考訳）: 現状の研究では、大規模なコーパス上の深層モデル(例えば、事前訓練されたモデル)が、下流のNLPタスクに有用な普遍言語表現を学習できることが示されている。 しかしながら、これらの強力なモデルはさまざまなプライバシ攻撃にも脆弱であり、トレーニングデータセットには多くの機密情報が存在している。 攻撃者は公共のモデル、例えば個人のメールアドレスや電話番号から容易に機密情報を盗むことができる。 このような問題,特に未許可のプライベートデータの利用に対処するために,テキストマーカというバックドアベースのメンバシップ推論手法を用いて,トレーニング用テキストデータに埋め込まれたさまざまな形式のプライベート情報を保護できる新しい透かし技術を導入する。 具体的には、TextMarkerはデータ所有者に対して、ターゲットモデルに対するブラックボックスアクセス仮定の下で、データ著作権保護のための少数のサンプルをマークすることのみを要求する。 各種実世界のデータセットに対するTextMarkerの有効性を示す。例えば、トレーニングデータセットの0.1%しかマークしていないことは、モデルユーティリティに無視できる効果を持つ効果的なメンバーシップ推論に十分である。 また、潜在的な対策について議論し、TextMarkerがそれらをバイパスするのに十分なステルス性を示している。

関連論文リスト

• Towards Operationalizing Right to Data Protection [8.61230665736263]
  RegTextは、認識不能な相関関係を自然言語データセットに注入するフレームワークで、コンテンツに影響を与えることなく、効果的に学習不能にすることができる。 小型・大規模LMの厳密な実証分析によりRegTextの有用性を実証する。 RegTextは、生成したデータからGPT-4oやLlamaといった新しいモデルを学ぶことができます。
  論文  参考訳（メタデータ） (2024-11-13T10:43:31Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Recovering from Privacy-Preserving Masking with Large Language Models [14.828717714653779]
  マスク付きトークンの代わりに大きな言語モデル(LLM)を提案する。 難読化コーパスでトレーニングしたモデルが,元のデータでトレーニングしたモデルと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-09-12T16:39:41Z)
• Did You Train on My Dataset? Towards Public Dataset Protection with Clean-Label Backdoor Watermarking [54.40184736491652]
  本稿では,公開データの保護のための一般的な枠組みとして機能するバックドアベースの透かし手法を提案する。 データセットに少数の透かしサンプルを挿入することにより、我々のアプローチは、ディフェンダーが設定した秘密関数を暗黙的に学習することを可能にする。 この隠れた機能は、データセットを違法に使用するサードパーティモデルを追跡するための透かしとして使用できる。
  論文  参考訳（メタデータ） (2023-03-20T21:54:30Z)
• Differentially Private Language Models for Secure Data Sharing [19.918137395199224]
  本稿では,生成言語モデルを個別に学習し,その結果を抽出する方法について述べる。 自然言語のプロンプトと新しいプロンプトミスマッチの損失を用いることで、高度に正確で流動的なテキストデータセットを作成できる。 我々は、我々の合成データセットが元のデータから情報を漏らさず、言語質が高いことを示す徹底的な実験を行う。
  論文  参考訳（メタデータ） (2022-10-25T11:12:56Z)
• You Are What You Write: Preserving Privacy in the Era of Large Language Models [2.3431670397288005]
  本稿では,様々な人気モデルを用いて,事前学習された表現に符号化された個人情報の範囲について,実証的研究を行う。 モデルの複雑さ,事前学習に使用するデータ量,およびデータ漏洩との間には,正の相関関係を示す。
  論文  参考訳（メタデータ） (2022-04-20T11:12:53Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Extracting Training Data from Large Language Models [78.3839333127544]
  本論文では,言語モデルに問い合わせることで,学習データ抽出攻撃を実行して個々のトレーニング例を回復できることを実証する。 我々は,公開インターネットのスクレイプ上で訓練された言語モデルgpt-2に対する攻撃を実証し,モデルのトレーニングデータから数百の動詞のテキストシーケンスを抽出することができることを示した。
  論文  参考訳（メタデータ） (2020-12-14T18:39:09Z)
• Adversarial Watermarking Transformer: Towards Tracing Text Provenance with Data Hiding [80.3811072650087]
  自然言語の透かしを防御として研究し,テキストの出所の発見と追跡に役立てる。 本稿では,適応型透かし変換器(AWT)とエンコーダ・デコーダ・デコーダを併用した対向型透かし変換器(AWT)について述べる。 AWTは、テキストにデータを隠蔽する最初のエンドツーエンドモデルである。
  論文  参考訳（メタデータ） (2020-09-07T11:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。