論文の概要: Privacy-Preserving Text Classification on BERT Embeddings with
Homomorphic Encryption
- arxiv url: http://arxiv.org/abs/2210.02574v1
- Date: Wed, 5 Oct 2022 21:46:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 16:18:35.644112
- Title: Privacy-Preserving Text Classification on BERT Embeddings with
Homomorphic Encryption
- Title(参考訳): 均一暗号を用いたBERT埋め込みにおけるプライバシー保護テキスト分類
- Authors: Garam Lee, Minsoo Kim, Jai Hyun Park, Seung-won Hwang, Jung Hee Cheon
- Abstract要約: 準同型暗号に基づく埋め込みの民営化機構を提案する。
本稿では,BERTの埋め込みを暗号化して保護する手法を提案する。
- 参考スコア(独自算出の注目度): 23.010346603025255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embeddings, which compress information in raw text into semantics-preserving
low-dimensional vectors, have been widely adopted for their efficacy. However,
recent research has shown that embeddings can potentially leak private
information about sensitive attributes of the text, and in some cases, can be
inverted to recover the original input text. To address these growing privacy
challenges, we propose a privatization mechanism for embeddings based on
homomorphic encryption, to prevent potential leakage of any piece of
information in the process of text classification. In particular, our method
performs text classification on the encryption of embeddings from
state-of-the-art models like BERT, supported by an efficient GPU implementation
of CKKS encryption scheme. We show that our method offers encrypted protection
of BERT embeddings, while largely preserving their utility on downstream text
classification tasks.
- Abstract(参考訳): テキスト中の情報を意味的に保存する低次元ベクトルに圧縮する埋め込みは、その有効性に広く採用されている。
しかし、最近の研究では、埋め込みはテキストの機密属性に関する個人情報を漏らす可能性があり、場合によっては元の入力テキストを復元するために反転することができることが示されている。
これらの増大するプライバシー問題に対処するため,我々は,テキスト分類の過程で情報の漏洩を防止するため,準同型暗号に基づく埋め込みの民営化機構を提案する。
特に,ckks暗号化方式の効率的なgpu実装により,bertなどの最先端モデルからの埋め込みの暗号化において,テキスト分類を行う。
提案手法はbert埋め込みの暗号化保護を提供しつつ,下流のテキスト分類タスクでの有用性を保っていることを示す。
関連論文リスト
- Subword Embedding from Bytes Gains Privacy without Sacrificing Accuracy and Complexity [5.7601856226895665]
本稿では,Bytes (SEB) からのSubword Embeddingを提案し,深層ニューラルネットワークを用いてサブワードをバイト列にエンコードする。
我々のソリューションは、効率や精度を犠牲にすることなく、プライバシを保ち、従来の手法よりも優れています。
機械翻訳、感情分析、言語モデリングにおいて、SEBは標準的なサブワード埋め込み手法よりも同等でより良い結果が得られることを検証した。
論文 参考訳(メタデータ) (2024-10-21T18:25:24Z) - Decoder Pre-Training with only Text for Scene Text Recognition [54.93037783663204]
シーンテキスト認識(STR)事前学習法は,主に合成データセットに依存し,顕著な進歩を遂げている。
STR(DPTR)用テキストのみを用いたDecoder Pre-trainingという新しい手法を提案する。
DPTRはCLIPテキストエンコーダが生成したテキスト埋め込みを擬似視覚埋め込みとして扱い、デコーダの事前訓練に使用する。
論文 参考訳(メタデータ) (2024-08-11T06:36:42Z) - Just Rewrite It Again: A Post-Processing Method for Enhanced Semantic Similarity and Privacy Preservation of Differentially Private Rewritten Text [3.3916160303055567]
本稿では,書き直したテキストを元のテキストと整合させることを目標とした,簡単な後処理手法を提案する。
以上の結果から,このような手法は,従来の入力よりも意味論的に類似した出力を生成するだけでなく,経験的プライバシ評価において平均的なスコアがよいテキストを生成することが示唆された。
論文 参考訳(メタデータ) (2024-05-30T08:41:33Z) - Latent Guard: a Safety Framework for Text-to-image Generation [64.49596711025993]
既存の安全対策は、容易に回避できるテキストブラックリストや有害なコンテンツ分類に基づいている。
テキスト・ツー・イメージ生成の安全性向上を目的としたフレームワークであるLatent Guardを提案する。
ブラックリストベースのアプローチにインスパイアされたLatent Guardは、T2Iモデルのテキストエンコーダの上に潜在空間を学習し、有害な概念の存在を確認することができる。
論文 参考訳(メタデータ) (2024-04-11T17:59:52Z) - Silent Guardian: Protecting Text from Malicious Exploitation by Large Language Models [63.91178922306669]
大規模言語モデル(LLM)に対するテキスト保護機構であるSilent Guardianを紹介する。
保護されるテキストを慎重に修正することで、TPEはLDMを誘導して最初にエンドトークンをサンプリングし、直接相互作用を終了させることができる。
本研究では,SGがターゲットテキストを種々の構成で効果的に保護し,保護成功率の約100%を達成できることを示す。
論文 参考訳(メタデータ) (2023-12-15T10:30:36Z) - Recoverable Privacy-Preserving Image Classification through Noise-like
Adversarial Examples [26.026171363346975]
分類などのクラウドベースの画像関連サービスが重要になっている。
本研究では,新しいプライバシー保護画像分類手法を提案する。
暗号化された画像は、秘密鍵を使用して、高い忠実度(保存可能な)で元の形式に復号することができる。
論文 参考訳(メタデータ) (2023-10-19T13:01:58Z) - SemStamp: A Semantic Watermark with Paraphrastic Robustness for Text Generation [72.10931780019297]
既存の透かしアルゴリズムはトークンレベルの設計のため、パラフレーズ攻撃に弱い。
局所性に敏感なハッシュ(LSH)に基づく頑健な文レベルのセマンティック透かしアルゴリズムSemStampを提案する。
実験結果から,本アルゴリズムは従来手法に比べて,従来手法よりも頑健であるだけでなく,生成品質の維持にも有効であることが示唆された。
論文 参考訳(メタデータ) (2023-10-06T03:33:42Z) - General Framework for Reversible Data Hiding in Texts Based on Masked
Language Modeling [15.136429369639686]
本稿では,秘密情報を所定のカバーテキストに埋め込むための一般的なフレームワークを提案する。
マーキングされたテキストから埋め込み情報及び元のカバーテキストを完全検索することができる。
この結果から,原文のカバーテキストと秘密情報の埋め込みと抽出に成功できることが示唆された。
論文 参考訳(メタデータ) (2022-06-21T05:02:49Z) - Autoregressive Linguistic Steganography Based on BERT and Consistency
Coding [17.881686153284267]
言語ステガノグラフィ(LS)は、秘密情報をテキストに埋め込むことによって、コミュニケーションの存在を隠蔽する。
近年のアルゴリズムでは、言語モデル(LM)を用いてステガノグラフテキストを生成する。
本稿では,BERTと整合性符号化に基づく自己回帰型LSアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-26T02:36:55Z) - Semantics-Preserved Distortion for Personal Privacy Protection in Information Management [65.08939490413037]
本稿では,意味的整合性を維持しつつテキストを歪ませる言語学的アプローチを提案する。
本稿では, 意味保存歪みの枠組みとして, 生成的アプローチと置換的アプローチの2つを提示する。
また、特定の医療情報管理シナリオにおけるプライバシ保護についても検討し、機密データの記憶を効果的に制限していることを示す。
論文 参考訳(メタデータ) (2022-01-04T04:01:05Z) - Reinforcement Learning on Encrypted Data [58.39270571778521]
本稿では,DQNエージェントが,離散的かつ連続的な状態空間を持つ環境でどのように動作するかを予備的,実験的に検討する。
その結果,非決定論的暗号が存在する場合でも,エージェントは依然として小さな状態空間で学習することができるが,より複雑な環境では性能が低下することがわかった。
論文 参考訳(メタデータ) (2021-09-16T21:59:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。