論文の概要: Inside the Black Box: Detecting Data Leakage in Pre-trained Language Encoders

• arxiv url: http://arxiv.org/abs/2408.11046v1
• Date: Tue, 20 Aug 2024 17:55:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 12:45:00.586550
• Title: Inside the Black Box: Detecting Data Leakage in Pre-trained Language Encoders
• Title（参考訳）: ブラックボックスの内部:事前訓練された言語エンコーダでデータ漏洩を検出する
• Authors: Yuan Xin, Zheng Li, Ning Yu, Dingfan Chen, Mario Fritz, Michael Backes, Yang Zhang,
• Abstract要約: 我々は、事前学習した言語エンコーダから適応した下流モデルを通して、事前学習したデータのメンバシップリークに焦点を当てた。 評価の結果,下流モデルのブラックボックス出力のみを露呈しても,メンバシップリークの存在が確認された。
• 参考スコア（独自算出の注目度）: 68.00224057755773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite being prevalent in the general field of Natural Language Processing (NLP), pre-trained language models inherently carry privacy and copyright concerns due to their nature of training on large-scale web-scraped data. In this paper, we pioneer a systematic exploration of such risks associated with pre-trained language encoders, specifically focusing on the membership leakage of pre-training data exposed through downstream models adapted from pre-trained language encoders-an aspect largely overlooked in existing literature. Our study encompasses comprehensive experiments across four types of pre-trained encoder architectures, three representative downstream tasks, and five benchmark datasets. Intriguingly, our evaluations reveal, for the first time, the existence of membership leakage even when only the black-box output of the downstream model is exposed, highlighting a privacy risk far greater than previously assumed. Alongside, we present in-depth analysis and insights toward guiding future researchers and practitioners in addressing the privacy considerations in developing pre-trained language models.
• Abstract（参考訳）: 自然言語処理(NLP)の分野で広く普及しているにもかかわらず、事前学習された言語モデルは、大規模なWebスクラッドデータに対するトレーニングの性質から、本質的にはプライバシと著作権に関する懸念を抱いている。 本稿では,事前学習言語エンコーダに関連するリスクを体系的に調査し,既存の文献で概ね見過ごされる部分である,事前学習言語エンコーダに適応した下流モデルを通して公開される事前学習データのメンバシップリークに着目した。 本研究は,4種類の事前学習型エンコーダアーキテクチャ,3つのダウンストリームタスク,5つのベンチマークデータセットを対象とした総合的な実験を含む。 興味深いことに、我々の評価では、下流モデルのブラックボックス出力のみが露呈しても、初めてメンバーシップリークの存在を明らかにし、これまで想定されていたよりもはるかに大きなプライバシーリスクを浮き彫りにした。 同時に、事前学習言語モデルの開発におけるプライバシーの考慮事項に対処するため、将来の研究者や実践者を支援するための詳細な分析と洞察を提示する。

関連論文リスト

• Forget to Flourish: Leveraging Machine-Unlearning on Pretrained Language Models for Privacy Leakage [12.892449128678516]
  下流アプリケーション用のプライベートデータ上の微調整言語モデルは、重大なプライバシーリスクを生じさせる。 いくつかの人気のあるコミュニティプラットフォームが、様々な事前訓練されたモデルの便利な配布を提供している。 本稿では,モデル学習を攻撃ツールとして利用する新しい毒殺手法を提案する。
  論文  参考訳（メタデータ） (2024-08-30T15:35:09Z)
• Dwell in the Beginning: How Language Models Embed Long Documents for Dense Retrieval [31.9252824152673]
  我々は、因果言語モデルにおける入力シーケンスの途中の情報損失を実証する以前の研究に基づいて構築した。 エンコーダ・デコーダモデルの訓練段階における位置バイアスについて,言語モデル事前学習,コントラスト事前学習,コントラスト微調整などを検討した。
  論文  参考訳（メタデータ） (2024-04-05T15:16:16Z)
• Beyond Gradient and Priors in Privacy Attacks: Leveraging Pooler Layer Inputs of Language Models in Federated Learning [24.059033969435973]
  本稿では,現代言語モデルのアーキテクチャの脆弱性を狙う2段階のプライバシ攻撃戦略を提案する。 比較実験は、様々なデータセットやシナリオで優れた攻撃性能を示す。 私たちは、大きな言語モデルの設計において、これらの潜在的なプライバシーリスクを認識し、対処するようコミュニティに呼びかけます。
  論文  参考訳（メタデータ） (2023-12-10T01:19:59Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Recovering from Privacy-Preserving Masking with Large Language Models [14.828717714653779]
  マスク付きトークンの代わりに大きな言語モデル(LLM)を提案する。 難読化コーパスでトレーニングしたモデルが,元のデータでトレーニングしたモデルと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-09-12T16:39:41Z)
• Differentially Private Language Models for Secure Data Sharing [19.918137395199224]
  本稿では,生成言語モデルを個別に学習し,その結果を抽出する方法について述べる。 自然言語のプロンプトと新しいプロンプトミスマッチの損失を用いることで、高度に正確で流動的なテキストデータセットを作成できる。 我々は、我々の合成データセットが元のデータから情報を漏らさず、言語質が高いことを示す徹底的な実験を行う。
  論文  参考訳（メタデータ） (2022-10-25T11:12:56Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)
• Pre-Training a Language Model Without Human Language [74.11825654535895]
  先行学習データの本質的性質が下流性能の微調整にどのように寄与するかを検討する。 非構造化データで事前に訓練されたモデルは、下流のタスクでゼロから訓練されたモデルに勝った。 驚くべきことに、特定の非人間言語データの事前トレーニングがGLUEのパフォーマンスを他の非英語言語で事前トレーニングされたパフォーマンスに近づけることを明らかにしました。
  論文  参考訳（メタデータ） (2020-12-22T13:38:06Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。