論文の概要: Semantics-Preserved Distortion for Personal Privacy Protection
- arxiv url: http://arxiv.org/abs/2201.00965v1
- Date: Tue, 4 Jan 2022 04:01:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-05 13:48:50.052591
- Title: Semantics-Preserved Distortion for Personal Privacy Protection
- Title(参考訳): 個人情報保護のためのセマンティックス保存歪み
- Authors: Letian Peng, Zuchao Li and Hai Zhao
- Abstract要約: クライアントデバイスでは、ユーザによって毎日、個人情報を含む大量のテキストが生成される。
フェデレートラーニング(Federated Learning)では、クライアントデバイスの生の情報から中心モデルをブロックする多くの方法が提案されている。
本稿では,意味を保ちながらテキストを歪ませることで,より言語的にこれを行おうとする。
- 参考スコア(独自算出の注目度): 48.69930912510414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Privacy protection is an important and concerning topic in Federated
Learning, especially for Natural Language Processing. In client devices, a
large number of texts containing personal information are produced by users
every day. As the direct application of information from users is likely to
invade personal privacy, many methods have been proposed in Federated Learning
to block the center model from the raw information in client devices. In this
paper, we try to do this more linguistically via distorting the text while
preserving the semantics. In practice, we leverage a recently proposed metric,
Neighboring Distribution Divergence, to evaluate the semantic preservation
during the distortion. Based on the metric, we propose two frameworks for
semantics-preserved distortion, a generative one and a substitutive one. Due to
the lack of privacy-related tasks in the current Natural Language Processing
field, we conduct experiments on named entity recognition and constituency
parsing. Results from our experiments show the plausibility and efficiency of
our distortion as a method for personal privacy protection.
- Abstract(参考訳): プライバシー保護は、連合学習、特に自然言語処理において重要かつ関連するトピックである。
クライアントデバイスでは、ユーザによって毎日、個人情報を含む大量のテキストが生成される。
ユーザからの情報の直接的適用は個人のプライバシーを侵害する可能性が高いため、フェデレーション学習において、クライアント装置の生情報からセンタモデルをブロックする多くの方法が提案されている。
本稿では,意味を保ちながらテキストを歪ませることで,より言語的にこれを行おうとする。
実際に,最近提案された手法であるNighboring Distribution Divergenceを用いて,歪み時の意味的保存を評価する。
このメトリックに基づいて,セマンティクス保存歪の2つのフレームワーク,生成型と置換型を提案する。
現在の自然言語処理分野におけるプライバシー関連タスクの欠如により、名前付きエンティティ認識と選挙区解析の実験を行っている。
以上の結果から,個人のプライバシー保護手法としての歪みの妥当性と効率性が示された。
関連論文リスト
- Privacy-Preserving Language Model Inference with Instance Obfuscation [33.86459812694288]
言語モデル・アズ・ア・サービス(LM)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。
入力データとプライベート情報を含む推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。
本稿では,自然言語理解タスクにおける決定プライバシ問題に対処することに焦点を当てた,インスタンス・オブフルスケート推論(IOI)手法を提案する。
論文 参考訳(メタデータ) (2024-02-13T05:36:54Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
via Contextual Integrity Theory [86.8514623654506]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-10-27T04:15:30Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - PLUE: Language Understanding Evaluation Benchmark for Privacy Policies
in English [77.79102359580702]
プライバシポリシ言語理解評価ベンチマークは,プライバシポリシ言語理解を評価するマルチタスクベンチマークである。
また、プライバシポリシの大規模なコーパスを収集し、プライバシポリシドメイン固有の言語モデル事前トレーニングを可能にします。
ドメイン固有の連続的な事前トレーニングは、すべてのタスクでパフォーマンスを改善することを実証します。
論文 参考訳(メタデータ) (2022-12-20T05:58:32Z) - Planting and Mitigating Memorized Content in Predictive-Text Language
Models [11.911353678499008]
言語モデルは、ユーザ製品に自動テキスト補完サービスを提供するために広くデプロイされている。
近年の研究では、言語モデルがプライベートトレーニングデータを記憶するかなりのリスクを負っていることが明らかになっている。
本研究では,機密テキストの意図しない暗記を緩和するために,プライバシー保護手法の有効性を検証した。
論文 参考訳(メタデータ) (2022-12-16T17:57:14Z) - How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。
プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
論文 参考訳(メタデータ) (2022-11-18T11:39:03Z) - The Limits of Word Level Differential Privacy [30.34805746574316]
そこで本稿では, パラフレージング用に微調整されたトランスフォーマーベース言語モデルに基づくテキスト匿名化手法を提案する。
提案手法を徹底的な実験により評価し,提案手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-02T21:53:10Z) - Privacy-Adaptive BERT for Natural Language Understanding [20.821155542969947]
BERTを用いたローカルプライバシ設定下でのNLUモデルの有効性向上について検討する。
本稿では,プライバシ対応lmプリトレーニング手法を提案し,民営化テキスト入力におけるモデル性能を大幅に向上できることを実証する。
論文 参考訳(メタデータ) (2021-04-15T15:01:28Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳(メタデータ) (2020-12-14T18:59:24Z) - Privacy Guarantees for De-identifying Text Transformations [17.636430224292866]
我々は、差分プライバシーに基づいて、テキスト変換に基づく復号化手法の正式なプライバシー保証を導出する。
複数の自然言語理解タスクにおける深層学習モデルを用いた,より洗練された単語間置換手法との比較を行った。
単語ごとの置換だけが、様々なタスクのパフォーマンス低下に対して堅牢であることに気付きました。
論文 参考訳(メタデータ) (2020-08-07T12:06:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。