論文の概要: Subword Embedding from Bytes Gains Privacy without Sacrificing Accuracy and Complexity

• arxiv url: http://arxiv.org/abs/2410.16410v1
• Date: Mon, 21 Oct 2024 18:25:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:25:25.128219
• Title: Subword Embedding from Bytes Gains Privacy without Sacrificing Accuracy and Complexity
• Title（参考訳）: バイトの埋め込みは正確さと複雑さを犠牲にすることなくプライバシーを向上する
• Authors: Mengjiao Zhang, Jia Xu,
• Abstract要約: 本稿では,Bytes (SEB) からのSubword Embeddingを提案し,深層ニューラルネットワークを用いてサブワードをバイト列にエンコードする。 我々のソリューションは、効率や精度を犠牲にすることなく、プライバシを保ち、従来の手法よりも優れています。 機械翻訳、感情分析、言語モデリングにおいて、SEBは標準的なサブワード埋め込み手法よりも同等でより良い結果が得られることを検証した。
• 参考スコア（独自算出の注目度）: 5.7601856226895665
• License:
• Abstract: While NLP models significantly impact our lives, there are rising concerns about privacy invasion. Although federated learning enhances privacy, attackers may recover private training data by exploiting model parameters and gradients. Therefore, protecting against such embedding attacks remains an open challenge. To address this, we propose Subword Embedding from Bytes (SEB) and encode subwords to byte sequences using deep neural networks, making input text recovery harder. Importantly, our method requires a smaller memory with $256$ bytes of vocabulary while keeping efficiency with the same input length. Thus, our solution outperforms conventional approaches by preserving privacy without sacrificing efficiency or accuracy. Our experiments show SEB can effectively protect against embedding-based attacks from recovering original sentences in federated learning. Meanwhile, we verify that SEB obtains comparable and even better results over standard subword embedding methods in machine translation, sentiment analysis, and language modeling with even lower time and space complexity.
• Abstract（参考訳）: NLPモデルは私たちの生活に大きな影響を及ぼすが、プライバシー侵害に対する懸念が高まっている。 フェデレートされた学習はプライバシを高めるが、攻撃者はモデルパラメータと勾配を利用してプライベートトレーニングデータを復元することができる。 したがって、そのような埋め込み攻撃に対する防御は依然としてオープンな課題である。 そこで本稿では,Bytes (SEB) からのSubword Embeddingを提案し,深層ニューラルネットワークを用いてサブワードをバイト列にエンコードすることで,入力テキストの復元を困難にしている。 重要なことは,同じ入力長で効率を保ちながら,語彙の256ドルバイトの小さなメモリを必要とすることである。 そこで本手法は,効率や精度を犠牲にすることなく,プライバシを保ち,従来の手法よりも優れている。 実験の結果,SEBは組込み型攻撃に対して,フェデレート学習における原文の回復を効果的に防ぐことができることがわかった。 一方、SEBは、機械翻訳、感情分析、言語モデリングにおいて、より少ない時間と空間の複雑さで標準的なサブワード埋め込み手法よりも、同等でより良い結果が得られることを検証している。

関連論文リスト

• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• NAP^2: A Benchmark for Naturalness and Privacy-Preserving Text Rewriting by Learning from Human [55.20137833039499]
  我々は,人間によって使用される2つの共通戦略を用いて,機密テキストの衛生化を提案する。 我々は,クラウドソーシングと大規模言語モデルの利用を通じて,NAP2という最初のコーパスをキュレートする。
  論文  参考訳（メタデータ） (2024-06-06T05:07:44Z)
• InferDPT: Privacy-Preserving Inference for Black-box Large Language Model [66.07752875835506]
  InferDPTは、ブラックボックスLSMのプライバシ保護推論のための最初の実用的なフレームワークである。 RANTEXTはInferDPTの摂動モジュールに組み込まれた新しい微分プライバシー機構である。
  論文  参考訳（メタデータ） (2023-10-18T18:00:11Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Planting and Mitigating Memorized Content in Predictive-Text Language Models [11.911353678499008]
  言語モデルは、ユーザ製品に自動テキスト補完サービスを提供するために広くデプロイされている。 近年の研究では、言語モデルがプライベートトレーニングデータを記憶するかなりのリスクを負っていることが明らかになっている。 本研究では,機密テキストの意図しない暗記を緩和するために,プライバシー保護手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-12-16T17:57:14Z)
• Privacy-Preserving Text Classification on BERT Embeddings with Homomorphic Encryption [23.010346603025255]
  準同型暗号に基づく埋め込みの民営化機構を提案する。 本稿では,BERTの埋め込みを暗号化して保護する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-05T21:46:02Z)
• Defending against Reconstruction Attacks with R\'enyi Differential Privacy [72.1188520352079]
  レコンストラクション攻撃により、敵は訓練されたモデルのみにアクセスすることで、トレーニングセットのデータサンプルを再生することができる。 差別化プライバシはこのような攻撃に対する既知の解決策であるが、比較的大きなプライバシ予算で使用されることが多い。 また、同機構により、従来の文献よりも優れた復元攻撃に対するプライバシー保証を導出できることを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:09:30Z)
• Federated Deep Learning with Bayesian Privacy [28.99404058773532]
  フェデレートラーニング(FL)は、ユーザ間でプライベートデータを共有せずにモデルを協調的に学習することで、データのプライバシを保護することを目的としている。 ホモモルフィック暗号化(HE)ベースの手法は、セキュアなプライバシ保護を提供するが、非常に高い計算と通信のオーバーヘッドに悩まされる。 差分プライバシ(DP)を用いたディープラーニングは,複雑な管理コストで実践的な学習アルゴリズムとして実装された。
  論文  参考訳（メタデータ） (2021-09-27T12:48:40Z)
• CAPE: Context-Aware Private Embeddings for Private Language Learning [0.5156484100374058]
  Context-Aware Private Embeddings (CAPE)は、埋め込みのトレーニング中にプライバシを保存する新しいアプローチである。 CAPEはディファレンシャルプライバシを通じて校正ノイズを適用し、機密情報を隠蔽しながらエンコードされたセマンティックリンクを保存する。 実験結果から,提案手法は単一介入よりも情報漏洩を低減させることが示された。
  論文  参考訳（メタデータ） (2021-08-27T14:50:12Z)
• Privacy-Adaptive BERT for Natural Language Understanding [20.821155542969947]
  BERTを用いたローカルプライバシ設定下でのNLUモデルの有効性向上について検討する。 本稿では,プライバシ対応lmプリトレーニング手法を提案し,民営化テキスト入力におけるモデル性能を大幅に向上できることを実証する。
  論文  参考訳（メタデータ） (2021-04-15T15:01:28Z)
• BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
  離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。 対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。 本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
  論文  参考訳（メタデータ） (2020-04-21T13:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。