論文の概要: Training Data Leakage Analysis in Language Models

• arxiv url: http://arxiv.org/abs/2101.05405v2
• Date: Mon, 22 Feb 2021 23:53:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-29 00:56:24.298137
• Title: Training Data Leakage Analysis in Language Models
• Title（参考訳）: 言語モデルにおける学習データ漏洩解析
• Authors: Huseyin A. Inan, Osman Ramadan, Lukas Wutschitz, Daniel Jones, Victor R\"uhle, James Withers, Robert Sim
• Abstract要約: 本稿では,強大かつ現実的な脅威モデルの下で漏洩する可能性のあるトレーニングデータ中のユーザコンテンツを識別する手法を提案する。 本研究では,トレーニングデータに固有の文断片を生成するモデルの能力を測定することにより,ユーザレベルのデータ漏洩を定量化する2つの指標を提案する。
• 参考スコア（独自算出の注目度）: 6.843491191969066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in neural network based language models lead to successful deployments of such models, improving user experience in various applications. It has been demonstrated that strong performance of language models comes along with the ability to memorize rare training samples, which poses serious privacy threats in case the model is trained on confidential user content. In this work, we introduce a methodology that investigates identifying the user content in the training data that could be leaked under a strong and realistic threat model. We propose two metrics to quantify user-level data leakage by measuring a model's ability to produce unique sentence fragments within training data. Our metrics further enable comparing different models trained on the same data in terms of privacy. We demonstrate our approach through extensive numerical studies on both RNN and Transformer based models. We further illustrate how the proposed metrics can be utilized to investigate the efficacy of mitigations like differentially private training or API hardening.
• Abstract（参考訳）: ニューラルネットワークベースの言語モデルの最近の進歩は、そのようなモデルのデプロイを成功させ、さまざまなアプリケーションのユーザエクスペリエンスを向上させる。 言語モデルの強力なパフォーマンスは、希少なトレーニングサンプルを記憶すると同時に、モデルが秘密のユーザコンテンツでトレーニングされている場合、深刻なプライバシー上の脅威を引き起こすことが示されている。 本研究では,強い現実的な脅威モデルの下で漏洩する可能性のあるトレーニングデータ中のユーザコンテンツを識別する手法を提案する。 本研究では,学習データ中のユニークな文フラグメントを生成するモデルの能力を測定することによって,ユーザレベルのデータ漏洩を定量化する2つの指標を提案する。 当社のメトリクスは、同じデータ上でトレーニングされたさまざまなモデルを、プライバシーの観点から比較する上で有効です。 提案手法は,RNNモデルとTransformerモデルの両方に関する広範な数値的研究を通じて実証する。 さらに、提案手法を用いて、差分プライベートトレーニングやAPI硬化といった緩和効果を調査する方法について述べる。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Recovering from Privacy-Preserving Masking with Large Language Models [14.828717714653779]
  マスク付きトークンの代わりに大きな言語モデル(LLM)を提案する。 難読化コーパスでトレーニングしたモデルが,元のデータでトレーニングしたモデルと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-09-12T16:39:41Z)
• Tools for Verifying Neural Models' Training Data [29.322899317216407]
  The Proof-of-Training-Data”では、モデルトレーナーがモデルの重みを発生させたトレーニングデータの検証を納得させることができる。 検証手順が多種多様な攻撃をキャッチできることを実験的に示す。
  論文  参考訳（メタデータ） (2023-07-02T23:27:00Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Q-LSTM Language Model -- Decentralized Quantum Multilingual Pre-Trained Language Model for Privacy Protection [6.0038761646405225]
  大規模言語モデルは、私たちのプライベート情報をエンコードしたり、反映したりする可能性のある、膨大な量の自然言語データに基づいて訓練されています。 悪意のあるエージェントは、事前トレーニングプロセスにデータ衛生と差分プライバシーアルゴリズムが関与している場合でも、トレーニングデータをリバースエンジニアリングすることができる。 大規模言語モデルの学習におけるプライバシー問題に対処する分散トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T21:29:17Z)
• Leveraging Adversarial Examples to Quantify Membership Information Leakage [30.55736840515317]
  パターン認識モデルにおけるメンバシップ推論の問題に対処する新しいアプローチを開発する。 この量はトレーニングデータに属する可能性を反映していると我々は主張する。 我々の手法は、最先端の戦略に匹敵する、あるいは上回る性能を発揮する。
  論文  参考訳（メタデータ） (2022-03-17T19:09:38Z)
• How much pretraining data do language models need to learn syntax? [12.668478784932878]
  トランスフォーマーに基づく事前訓練型言語モデルは、多くのよく知られたNLUベンチマークにおいて優れた結果を得る。 本稿では,RoBERTaを用いたモデル知識に対する事前学習データサイズの影響について検討する。
  論文  参考訳（メタデータ） (2021-09-07T15:51:39Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。