論文の概要: What Does it Mean for a Language Model to Preserve Privacy?

• arxiv url: http://arxiv.org/abs/2202.05520v1
• Date: Fri, 11 Feb 2022 09:18:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-14 14:00:00.590827
• Title: What Does it Mean for a Language Model to Preserve Privacy?
• Title（参考訳）: 言語モデルがプライバシを維持するための意味は何でしょう?
• Authors: Hannah Brown, Katherine Lee, Fatemehsadat Mireshghalla, Reza Shokri, Florian Tram\`er
• Abstract要約: 自然言語は私たちのプライベートな生活とアイデンティティを反映しており、そのプライバシーに関する懸念は現実の生活のそれと同じくらい広まっています。 既存の保護手法は、言語モデルに対する汎用的で意味のあるプライバシの概念を保証できない、と我々は主張する。 我々は、言語モデルは、公用として明示的に作成されたテキストデータに基づいて訓練されるべきである、と結論付けた。
• 参考スコア（独自算出の注目度）: 10.619292781166623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language reflects our private lives and identities, making its privacy concerns as broad as those of real life. Language models lack the ability to understand the context and sensitivity of text, and tend to memorize phrases present in their training sets. An adversary can exploit this tendency to extract training data. Depending on the nature of the content and the context in which this data was collected, this could violate expectations of privacy. Thus there is a growing interest in techniques for training language models that preserve privacy. In this paper, we discuss the mismatch between the narrow assumptions made by popular data protection techniques (data sanitization and differential privacy), and the broadness of natural language and of privacy as a social norm. We argue that existing protection methods cannot guarantee a generic and meaningful notion of privacy for language models. We conclude that language models should be trained on text data which was explicitly produced for public use.
• Abstract（参考訳）: 自然言語は私たちのプライベートな生活とアイデンティティを反映しており、プライバシーに関する懸念は現実の生活のそれと同じくらい広まっています。 言語モデルは、テキストの文脈や感受性を理解する能力がなく、トレーニングセットに存在するフレーズを記憶する傾向がある。 相手はこの傾向を利用してトレーニングデータを抽出することができる。 コンテンツの性質や、このデータが収集された状況によっては、プライバシーに対する期待に反する可能性がある。 したがって、プライバシを保存する言語モデルのトレーニング技術への関心が高まっている。 本稿では,一般的なデータ保護技術(データサニタイズとディファレンシャルプライバシ)による狭義の仮定と,自然言語とプライバシを社会的規範として持つことのミスマッチについて論じる。 既存の保護手法は、言語モデルに対する汎用的で意味のあるプライバシの概念を保証できない。 言語モデルは、公用として明示的に作成されたテキストデータに基づいて訓練されるべきである。

関連論文リスト

• NAP^2: A Benchmark for Naturalness and Privacy-Preserving Text Rewriting by Learning from Human [55.20137833039499]
  我々は,人間によって使用される2つの共通戦略を用いて,機密テキストの衛生化を提案する。 我々は,クラウドソーシングと大規模言語モデルの利用を通じて,NAP2という最初のコーパスをキュレートする。
  論文  参考訳（メタデータ） (2024-06-06T05:07:44Z)
• Privacy-Preserving Language Model Inference with Instance Obfuscation [33.86459812694288]
  言語モデル・アズ・ア・サービス(LM)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。 入力データとプライベート情報を含む推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。 本稿では,自然言語理解タスクにおける決定プライバシ問題に対処することに焦点を当てた,インスタンス・オブフルスケート推論(IOI)手法を提案する。
  論文  参考訳（メタデータ） (2024-02-13T05:36:54Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• PLUE: Language Understanding Evaluation Benchmark for Privacy Policies in English [77.79102359580702]
  プライバシポリシ言語理解評価ベンチマークは,プライバシポリシ言語理解を評価するマルチタスクベンチマークである。 また、プライバシポリシの大規模なコーパスを収集し、プライバシポリシドメイン固有の言語モデル事前トレーニングを可能にします。 ドメイン固有の連続的な事前トレーニングは、すべてのタスクでパフォーマンスを改善することを実証します。
  論文  参考訳（メタデータ） (2022-12-20T05:58:32Z)
• Planting and Mitigating Memorized Content in Predictive-Text Language Models [11.911353678499008]
  言語モデルは、ユーザ製品に自動テキスト補完サービスを提供するために広くデプロイされている。 近年の研究では、言語モデルがプライベートトレーニングデータを記憶するかなりのリスクを負っていることが明らかになっている。 本研究では,機密テキストの意図しない暗記を緩和するために,プライバシー保護手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-12-16T17:57:14Z)
• Position: Considerations for Differentially Private Learning with Large-Scale Public Pretraining [75.25943383604266]
  大規模なWebスクレイプデータセットの使用は、差分プライバシ保存と見なすべきかどうかを疑問視する。 Webデータ上で事前訓練されたこれらのモデルを“プライベート”として公開することで、市民のプライバシーに対する信頼を意味のあるプライバシの定義として損なう可能性があることを警告します。 公的な事前学習がより普及し、強力になるにつれて、私的な学習分野への道のりを議論することで、我々は結論づける。
  論文  参考訳（メタデータ） (2022-12-13T10:41:12Z)
• Defending against Reconstruction Attacks with R\'enyi Differential Privacy [72.1188520352079]
  レコンストラクション攻撃により、敵は訓練されたモデルのみにアクセスすることで、トレーニングセットのデータサンプルを再生することができる。 差別化プライバシはこのような攻撃に対する既知の解決策であるが、比較的大きなプライバシ予算で使用されることが多い。 また、同機構により、従来の文献よりも優れた復元攻撃に対するプライバシー保証を導出できることを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:09:30Z)
• Selective Differential Privacy for Language Modeling [36.64464956102432]
  これまでの研究は、RNNベースの言語モデルを異なるプライバシ保証でトレーニングすることで、この問題に対処しようとしてきた。 我々は、データの機密部分に対して厳密なプライバシー保証を提供するために、新しいプライバシー概念、選択的差分プライバシーを提案する。 言語モデリングとダイアログシステム構築の実験は、提案したプライバシー保護機構がより良いユーティリティを実現することを示す。
  論文  参考訳（メタデータ） (2021-08-30T01:11:10Z)
• Privacy-Adaptive BERT for Natural Language Understanding [20.821155542969947]
  BERTを用いたローカルプライバシ設定下でのNLUモデルの有効性向上について検討する。 本稿では,プライバシ対応lmプリトレーニング手法を提案し,民営化テキスト入力におけるモデル性能を大幅に向上できることを実証する。
  論文  参考訳（メタデータ） (2021-04-15T15:01:28Z)
• Differentially Private Language Models Benefit from Public Pre-training [1.2676356746752895]
  品質とプライバシーの保護を同時に行う言語モデル学習の実現可能性について検討する。 DPの微調整により,プライベートドメインにおける言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-09-13T00:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。