論文の概要: Interpretable Privacy Preservation of Text Representations Using Vector
Steganography
- arxiv url: http://arxiv.org/abs/2112.02557v1
- Date: Sun, 5 Dec 2021 12:42:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 14:25:26.531345
- Title: Interpretable Privacy Preservation of Text Representations Using Vector
Steganography
- Title(参考訳): ベクトルステレオグラフィーによるテキスト表現の解釈可能なプライバシー保護
- Authors: Geetanjali Bihani
- Abstract要約: 言語モデル(LM)が生成する文脈表現は、トレーニングコーパスに存在する刺激的な関連を学習する。
敵はこれらの関連を利用して、コーパス内で言及されるエンティティのプライベート属性をリバースエンジニアリングすることができる。
本研究の目的は, ベクトル幾何学にステガノグラフィーを組み込んで, 基礎となるスプリアス結合を解き明かす手法を研究・開発することである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contextual word representations generated by language models (LMs) learn
spurious associations present in the training corpora. Recent findings reveal
that adversaries can exploit these associations to reverse-engineer the private
attributes of entities mentioned within the corpora. These findings have led to
efforts towards minimizing the privacy risks of language models. However,
existing approaches lack interpretability, compromise on data utility and fail
to provide privacy guarantees. Thus, the goal of my doctoral research is to
develop interpretable approaches towards privacy preservation of text
representations that retain data utility while guaranteeing privacy. To this
end, I aim to study and develop methods to incorporate steganographic
modifications within the vector geometry to obfuscate underlying spurious
associations and preserve the distributional semantic properties learnt during
training.
- Abstract(参考訳): 言語モデル(LM)が生成する文脈表現は、トレーニングコーパスに存在する刺激的な関連を学習する。
最近の知見では、敵はこれらの関連を利用してコーパス内で言及されているエンティティのプライベート属性をリバースエンジニアリングすることができる。
これらの知見は言語モデルのプライバシーリスクを最小化するための努力につながった。
しかし、既存のアプローチには解釈性がなく、データユーティリティーに妥協があり、プライバシの保証を提供していない。
そこで、私の博士研究の目的は、プライバシーを保証しながらデータの有用性を維持するテキスト表現のプライバシー保護に対する解釈可能なアプローチを開発することである。
そこで,本稿では,学習中に学習される分布的意味的性質を損なうために,ベクトル幾何学にステガノグラフィー的修正を組み込む手法を研究・開発することを目的としている。
関連論文リスト
- Privacy-Preserving Language Model Inference with Instance Obfuscation [33.86459812694288]
言語モデル・アズ・ア・サービス(LM)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。
入力データとプライベート情報を含む推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。
本稿では,自然言語理解タスクにおける決定プライバシ問題に対処することに焦点を当てた,インスタンス・オブフルスケート推論(IOI)手法を提案する。
論文 参考訳(メタデータ) (2024-02-13T05:36:54Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
via Contextual Integrity Theory [86.8514623654506]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-10-27T04:15:30Z) - Disentangling the Linguistic Competence of Privacy-Preserving BERT [0.0]
差別化プライバシ(DP)は、テキストからテキストへの民営化というユニークな課題に対処するために調整されている。
我々は、摂動前文で訓練されたBERTから抽出した内部表現に対して、一連の解釈手法を用いる。
この相違点を解き放つために探索的タスクを用いることで、テキストからテキストへの民営化がいくつかの形式主義における言語能力に影響を及ぼす証拠を見出す。
論文 参考訳(メタデータ) (2023-10-17T16:00:26Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Independent Distribution Regularization for Private Graph Embedding [55.24441467292359]
グラフ埋め込みは属性推論攻撃の影響を受けやすいため、攻撃者は学習したグラフ埋め込みからプライベートノード属性を推測することができる。
これらの懸念に対処するため、プライバシ保護グラフ埋め込み手法が登場した。
独立分散ペナルティを正規化項として支援し, PVGAE(Private Variational Graph AutoEncoders)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-08-16T13:32:43Z) - Natural Language Decompositions of Implicit Content Enable Better Text
Representations [56.85319224208865]
本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。
我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。
本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
論文 参考訳(メタデータ) (2023-05-23T23:45:20Z) - Contextual information integration for stance detection via
cross-attention [59.662413798388485]
スタンス検出は、著者の目標に対する姿勢を特定することを扱う。
既存のスタンス検出モデルの多くは、関連するコンテキスト情報を考慮していないため、制限されている。
文脈情報をテキストとして統合する手法を提案する。
論文 参考訳(メタデータ) (2022-11-03T15:04:29Z) - What Does it Mean for a Language Model to Preserve Privacy? [12.955456268790005]
自然言語は私たちのプライベートな生活とアイデンティティを反映しており、そのプライバシーに関する懸念は現実の生活のそれと同じくらい広まっています。
既存の保護手法は、言語モデルに対する汎用的で意味のあるプライバシの概念を保証できない、と我々は主張する。
我々は、言語モデルは、公用として明示的に作成されたテキストデータに基づいて訓練されるべきである、と結論付けた。
論文 参考訳(メタデータ) (2022-02-11T09:18:27Z) - Semantics-Preserved Distortion for Personal Privacy Protection [48.69930912510414]
クライアントデバイスでは、ユーザによって毎日、個人情報を含む大量のテキストが生成される。
フェデレートラーニング(Federated Learning)では、クライアントデバイスの生の情報から中心モデルをブロックする多くの方法が提案されている。
本稿では,意味を保ちながらテキストを歪ませることで,より言語的にこれを行おうとする。
論文 参考訳(メタデータ) (2022-01-04T04:01:05Z) - CAPE: Context-Aware Private Embeddings for Private Language Learning [0.5156484100374058]
Context-Aware Private Embeddings (CAPE)は、埋め込みのトレーニング中にプライバシを保存する新しいアプローチである。
CAPEはディファレンシャルプライバシを通じて校正ノイズを適用し、機密情報を隠蔽しながらエンコードされたセマンティックリンクを保存する。
実験結果から,提案手法は単一介入よりも情報漏洩を低減させることが示された。
論文 参考訳(メタデータ) (2021-08-27T14:50:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。