論文の概要: Privacy-Adaptive BERT for Natural Language Understanding
- arxiv url: http://arxiv.org/abs/2104.07504v1
- Date: Thu, 15 Apr 2021 15:01:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-16 15:01:10.503105
- Title: Privacy-Adaptive BERT for Natural Language Understanding
- Title（参考訳）: 自然言語理解のためのプライバシ適応BERT
- Authors: Chen Qu, Weize Kong, Liu Yang, Mingyang Zhang, Michael Bendersky and
Marc Najork
- Abstract要約: BERTを用いたローカルプライバシ設定下でのNLUモデルの有効性向上について検討する。
本稿では,プライバシ対応lmプリトレーニング手法を提案し,民営化テキスト入力におけるモデル性能を大幅に向上できることを実証する。
- 参考スコア（独自算出の注目度）: 20.821155542969947
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When trying to apply the recent advance of Natural Language Understanding
(NLU) technologies to real-world applications, privacy preservation imposes a
crucial challenge, which, unfortunately, has not been well resolved. To address
this issue, we study how to improve the effectiveness of NLU models under a
Local Privacy setting, using BERT, a widely-used pretrained Language Model
(LM), as an example. We systematically study the strengths and weaknesses of
imposing dx-privacy, a relaxed variant of Local Differential Privacy, at
different stages of language modeling: input text, token embeddings, and
sequence representations. We then focus on the former two with
privacy-constrained fine-tuning experiments to reveal the utility of BERT under
local privacy constraints. More importantly, to the best of our knowledge, we
are the first to propose privacy-adaptive LM pretraining methods and
demonstrate that they can significantly improve model performance on privatized
text input. We also interpret the level of privacy preservation and provide our
guidance on privacy parameter selections.
- Abstract（参考訳）: 自然言語理解(NLU)技術の最近の進歩を現実世界のアプリケーションに適用しようとすると、プライバシ保護は重要な課題となり、残念ながらうまく解決されていない。
そこで本研究では,ローカルプライバシ設定下でのNLUモデルの有効性を,広く使用されている事前学習言語モデル(LM)であるBERTを用いて改善する方法について検討する。
入力テキスト,トークン埋め込み,シーケンス表現といった言語モデリングの異なる段階において,局所微分プライバシーの緩和された変種であるdx-privacyの強みと弱みを体系的に研究する。
次に、プライバシーに制約のある微調整実験を行い、ローカルなプライバシー制約の下でBERTの有用性を明らかにする。
さらに、私たちの知る限りでは、プライバシ適応型LM事前学習手法を初めて提案し、民営化テキスト入力におけるモデル性能を大幅に向上させることができることを示す。
また,プライバシ保護のレベルを解釈し,プライバシパラメータ選択に関するガイダンスを提供する。
関連論文リスト
- Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。
ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文 参考訳（メタデータ） (2024-06-20T13:54:32Z) - NAP^2: A Benchmark for Naturalness and Privacy-Preserving Text Rewriting by Learning from Human [55.20137833039499]
我々は,人間によって使用される2つの共通戦略を用いて,機密テキストの衛生化を提案する。
我々は,クラウドソーシングと大規模言語モデルの利用を通じて,NAP2という最初のコーパスをキュレートする。
論文 参考訳（メタデータ） (2024-06-06T05:07:44Z) - Privacy-Preserving Language Model Inference with Instance Obfuscation [33.86459812694288]
言語モデル・アズ・ア・サービス(LM)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。
入力データとプライベート情報を含む推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。
本稿では,自然言語理解タスクにおける決定プライバシ問題に対処することに焦点を当てた,インスタンス・オブフルスケート推論(IOI)手法を提案する。
論文 参考訳（メタデータ） (2024-02-13T05:36:54Z) - DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。
しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。
本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
論文 参考訳（メタデータ） (2023-11-27T02:01:10Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-10-27T04:15:30Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳（メタデータ） (2023-10-03T22:37:01Z) - Privacy Implications of Retrieval-Based Language Models [26.87950501433784]
本稿では,検索に基づくLM,特に$k$NN-LMにおけるプライバシリスクに関する最初の研究について述べる。
パラメトリックモデルよりも、$k$NN-LMsの方がプライベートデータストアから個人情報をリークする可能性が高いことがわかりました。
論文 参考訳（メタデータ） (2023-05-24T08:37:27Z) - PLUE: Language Understanding Evaluation Benchmark for Privacy Policies
in English [77.79102359580702]
プライバシポリシ言語理解評価ベンチマークは,プライバシポリシ言語理解を評価するマルチタスクベンチマークである。
また、プライバシポリシの大規模なコーパスを収集し、プライバシポリシドメイン固有の言語モデル事前トレーニングを可能にします。
ドメイン固有の連続的な事前トレーニングは、すべてのタスクでパフォーマンスを改善することを実証します。
論文 参考訳（メタデータ） (2022-12-20T05:58:32Z) - Selective Differential Privacy for Language Modeling [36.64464956102432]
これまでの研究は、RNNベースの言語モデルを異なるプライバシ保証でトレーニングすることで、この問題に対処しようとしてきた。
我々は、データの機密部分に対して厳密なプライバシー保証を提供するために、新しいプライバシー概念、選択的差分プライバシーを提案する。
言語モデリングとダイアログシステム構築の実験は、提案したプライバシー保護機構がより良いユーティリティを実現することを示す。
論文 参考訳（メタデータ） (2021-08-30T01:11:10Z) - CAPE: Context-Aware Private Embeddings for Private Language Learning [0.5156484100374058]
Context-Aware Private Embeddings (CAPE)は、埋め込みのトレーニング中にプライバシを保存する新しいアプローチである。
CAPEはディファレンシャルプライバシを通じて校正ノイズを適用し、機密情報を隠蔽しながらエンコードされたセマンティックリンクを保存する。
実験結果から,提案手法は単一介入よりも情報漏洩を低減させることが示された。
論文 参考訳（メタデータ） (2021-08-27T14:50:12Z) - Tempered Sigmoid Activations for Deep Learning with Differential Privacy [33.574715000662316]
活性化関数の選択は、プライバシー保護の深層学習の感度を束縛することの中心であることを示す。
我々は,MNIST,FashionMNIST,CIFAR10に対して,学習手順の基礎を変更することなく,新たな最先端の精度を実現する。
論文 参考訳（メタデータ） (2020-07-28T13:19:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。