論文の概要: Privacy Leakage in Text Classification: A Data Extraction Approach

• arxiv url: http://arxiv.org/abs/2206.04591v1
• Date: Thu, 9 Jun 2022 16:14:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 13:26:29.314743
• Title: Privacy Leakage in Text Classification: A Data Extraction Approach
• Title（参考訳）: テキスト分類におけるプライバシ漏洩:データ抽出アプローチ
• Authors: Adel Elmahdy, Huseyin A. Inan, Robert Sim
• Abstract要約: テキスト分類領域における潜在的なプライバシー漏洩について,意図しないトレーニングデータの暗記の問題を調査して検討する。 モデルによって提供されるクラスラベルの可能性を利用して,部分テキストの欠落トークンを抽出するアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 9.045332526072828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has demonstrated the successful extraction of training data from generative language models. However, it is not evident whether such extraction is feasible in text classification models since the training objective is to predict the class label as opposed to next-word prediction. This poses an interesting challenge and raises an important question regarding the privacy of training data in text classification settings. Therefore, we study the potential privacy leakage in the text classification domain by investigating the problem of unintended memorization of training data that is not pertinent to the learning task. We propose an algorithm to extract missing tokens of a partial text by exploiting the likelihood of the class label provided by the model. We test the effectiveness of our algorithm by inserting canaries into the training set and attempting to extract tokens in these canaries post-training. In our experiments, we demonstrate that successful extraction is possible to some extent. This can also be used as an auditing strategy to assess any potential unauthorized use of personal data without consent.
• Abstract（参考訳）: 近年の研究では、生成言語モデルからトレーニングデータの抽出に成功した。 しかし、学習の目的は次の単語予測ではなくクラスラベルを予測することであるため、テキスト分類モデルにおいてそのような抽出が実現可能かどうかは明らかではない。 これは興味深い課題であり、テキスト分類設定におけるトレーニングデータのプライバシーに関する重要な疑問を提起する。 そこで本研究では,学習課題に関係のない学習データの意図しない記憶の問題について,テキスト分類領域における潜在的なプライバシー漏洩について検討する。 モデルによって提供されるクラスラベルの可能性を利用して,部分テキストの欠落トークンを抽出するアルゴリズムを提案する。 トレーニングセットにカナリアを挿入し,トレーニング後のカナリアのトークン抽出を試みることで,アルゴリズムの有効性を検証した。 実験では,成功例の抽出がある程度可能であることを実証した。 これは、同意なしに個人データの潜在的無許可使用を評価する監査戦略としても用いられる。

関連論文リスト

• Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens [1.2549198550400134]
  大きな言語モデル(LLM)は広く使われているが、プライバシー、セキュリティ、著作権については不透明なトレーニングデータのために懸念されている。 この問題に対する現在の解決策は、メンバーシップ推論攻撃(MIA)のような機械学習プライバシで探索されたテクニックを活用する。 本稿では、この信頼性を軽減し、同定を効果的に増幅する適応型事前学習データ検出法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:43:59Z)
• Protecting Privacy in Classifiers by Token Manipulation [3.5033860596797965]
  テキスト分類モデルに焦点をあて、様々なトークンマッピングとコンテキスト化された操作機能について検討する。 いくつかのトークンマッピング関数の実装は簡単で簡単ですが、ダウンストリームタスクのパフォーマンスに大きな影響を与えます。 比較すると、文脈化された操作はパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2024-07-01T14:41:59Z)
• Self-Training for Sample-Efficient Active Learning for Text Classification with Pre-Trained Language Models [3.546617486894182]
  我々は,4つのテキスト分類ベンチマークで評価した,新しい効果的な自己学習戦略であるHASTを紹介する。 その結果、4つのデータセットのうち3つに対して、再現された自己学習手法よりも優れており、以前の実験に匹敵する分類結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-06-13T15:06:11Z)
• Self-supervised Pre-training of Text Recognizers [0.0]
  マスク付きラベル予測に基づく自己教師付き事前学習手法について検討する。 我々は、歴史的手書き(ベンサム)と歴史的印刷データセットの実験を行う。 評価の結果,対象領域からのデータの自己教師付き事前学習は非常に効果的であるが,近縁領域からの移行学習よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-01T09:58:57Z)
• Detecting Pretraining Data from Large Language Models [90.12037980837738]
  事前学習データ検出問題について検討する。 事前学習データを知ることなく、テキスト片とLCMへのブラックボックスアクセスを条件に、モデルが提供されたテキストでトレーニングされたかどうかを判断できますか? 簡単な仮説に基づく新しい検出手法Min-K% Probを提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:21:23Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Ethicist: Targeted Training Data Extraction Through Loss Smoothed Soft Prompting and Calibrated Confidence Estimation [56.57532238195446]
  本研究では,対象とするトレーニングデータ抽出のためのEthicistという手法を提案する。 メモリ化を誘発するため、モデルを固定しながらソフトなプロンプト埋め込みをチューニングする。 我々は,最近提案された公開ベンチマークにおいて,エティシストが抽出性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-07-10T08:03:41Z)
• Bag of Tricks for Training Data Extraction from Language Models [98.40637430115204]
  公開データセットを用いてトレーニングデータ抽出を改善するための手法とベンチマーク手法について検討する。 実験結果から,これまで見過ごされていたいくつかのトリックが,トレーニングデータ抽出の成功に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2023-02-09T06:46:42Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。