Fugu-MT 論文翻訳(概要): CAPE: Context-Aware Private Embeddings for Private Language Learning

論文の概要: CAPE: Context-Aware Private Embeddings for Private Language Learning

arxiv url: http://arxiv.org/abs/2108.12318v1
Date: Fri, 27 Aug 2021 14:50:12 GMT
ステータス: 処理完了
システム内更新日: 2021-08-30 14:23:35.969664
Title: CAPE: Context-Aware Private Embeddings for Private Language Learning
Title（参考訳）: CAPE: プライベート言語学習のためのコンテキスト対応プライベート埋め込み
Authors: Richard Plant, Dimitra Gkatzia, Valerio Giuffrida
Abstract要約: Context-Aware Private Embeddings (CAPE)は、埋め込みのトレーニング中にプライバシを保存する新しいアプローチである。 CAPEはディファレンシャルプライバシを通じて校正ノイズを適用し、機密情報を隠蔽しながらエンコードされたセマンティックリンクを保存する。実験結果から,提案手法は単一介入よりも情報漏洩を低減させることが示された。
参考スコア（独自算出の注目度）: 0.5156484100374058
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Deep learning-based language models have achieved state-of-the-art results in a number of applications including sentiment analysis, topic labelling, intent classification and others. Obtaining text representations or embeddings using these models presents the possibility of encoding personally identifiable information learned from language and context cues that may present a risk to reputation or privacy. To ameliorate these issues, we propose Context-Aware Private Embeddings (CAPE), a novel approach which preserves privacy during training of embeddings. To maintain the privacy of text representations, CAPE applies calibrated noise through differential privacy, preserving the encoded semantic links while obscuring sensitive information. In addition, CAPE employs an adversarial training regime that obscures identified private variables. Experimental results demonstrate that the proposed approach reduces private information leakage better than either single intervention.
Abstract（参考訳）: 深層学習に基づく言語モデルは、感情分析、トピックラベリング、意図分類など、多くのアプリケーションで最先端の結果を得た。これらのモデルを用いたテキスト表現や埋め込みは、評判やプライバシーにリスクをもたらす可能性のある言語や文脈の手がかりから学習した個人識別可能な情報を符号化する可能性を示す。これらの問題を解決するために、埋め込みのトレーニング中にプライバシを保存する新しいアプローチであるCAPE(Context-Aware Private Embeddings)を提案する。テキスト表現のプライバシを維持するため、CAPEは差分プライバシーを通じて校正ノイズを適用し、機密情報を隠蔽しながらエンコードされたセマンティックリンクを保存する。加えて、CAPEは個人変数を隠蔽する敵の訓練体制を採用している。実験の結果,提案手法は単一の介入よりも情報漏洩を低減できることがわかった。

関連論文リスト

Masked Differential Privacy [64.32494202656801]
本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
論文参考訳（メタデータ） (2024-10-22T15:22:53Z)
NAP^2: A Benchmark for Naturalness and Privacy-Preserving Text Rewriting by Learning from Human [55.20137833039499]
我々は,人間によって使用される2つの共通戦略を用いて,機密テキストの衛生化を提案する。我々は,クラウドソーシングと大規模言語モデルの利用を通じて,NAP2という最初のコーパスをキュレートする。
論文参考訳（メタデータ） (2024-06-06T05:07:44Z)
Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文参考訳（メタデータ） (2023-10-27T04:15:30Z)
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文参考訳（メタデータ） (2023-10-03T22:37:01Z)
Context-Aware Differential Privacy for Language Modeling [41.54238543400462]
本稿では,CADP-LM(Context-Aware Differentially Private Language Model)を紹介する。 CADP-LMは、潜在的にセンシティブな情報を定義し、監査するために、エンフコンテクスの概念に依存している。 CADP-LMのユニークな特徴は、センシティブな文や文脈のみの保護を目標とする能力である。
論文参考訳（メタデータ） (2023-01-28T20:06:16Z)
PLUE: Language Understanding Evaluation Benchmark for Privacy Policies in English [77.79102359580702]
プライバシポリシ言語理解評価ベンチマークは,プライバシポリシ言語理解を評価するマルチタスクベンチマークである。また、プライバシポリシの大規模なコーパスを収集し、プライバシポリシドメイン固有の言語モデル事前トレーニングを可能にします。ドメイン固有の連続的な事前トレーニングは、すべてのタスクでパフォーマンスを改善することを実証します。
論文参考訳（メタデータ） (2022-12-20T05:58:32Z)
How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
論文参考訳（メタデータ） (2022-11-18T11:39:03Z)
Interpretable Privacy Preservation of Text Representations Using Vector Steganography [0.0]
言語モデル(LM)が生成する文脈表現は、トレーニングコーパスに存在する刺激的な関連を学習する。敵はこれらの関連を利用して、コーパス内で言及されるエンティティのプライベート属性をリバースエンジニアリングすることができる。本研究の目的は, ベクトル幾何学にステガノグラフィーを組み込んで, 基礎となるスプリアス結合を解き明かす手法を研究・開発することである。
論文参考訳（メタデータ） (2021-12-05T12:42:40Z)
Selective Differential Privacy for Language Modeling [36.64464956102432]
これまでの研究は、RNNベースの言語モデルを異なるプライバシ保証でトレーニングすることで、この問題に対処しようとしてきた。我々は、データの機密部分に対して厳密なプライバシー保証を提供するために、新しいプライバシー概念、選択的差分プライバシーを提案する。言語モデリングとダイアログシステム構築の実験は、提案したプライバシー保護機構がより良いユーティリティを実現することを示す。
論文参考訳（メタデータ） (2021-08-30T01:11:10Z)
Privacy-Adaptive BERT for Natural Language Understanding [20.821155542969947]
BERTを用いたローカルプライバシ設定下でのNLUモデルの有効性向上について検討する。本稿では,プライバシ対応lmプリトレーニング手法を提案し,民営化テキスト入力におけるモデル性能を大幅に向上できることを実証する。
論文参考訳（メタデータ） (2021-04-15T15:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。