論文の概要: Differential Privacy for Transformer Embeddings of Text with Nonparametric Variational Information Bottleneck

• arxiv url: http://arxiv.org/abs/2601.02307v1
• Date: Mon, 05 Jan 2026 17:49:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:23.33151
• Title: Differential Privacy for Transformer Embeddings of Text with Nonparametric Variational Information Bottleneck
• Title（参考訳）: 非パラメトリック変分情報付きテキストのトランスフォーマー埋め込みにおける差分プライバシー
• Authors: Dina El Zein, James Henderson,
• Abstract要約: 本稿では,変換器埋め込みのノイズの多いバージョンを共有することで,テキストデータを共有するためのプライバシ保護手法を提案する。 非パラメトリック変分プライバシー(NVDP)は、有用なデータ共有と強力なプライバシー保護の両方を保証する。
• 参考スコア（独自算出の注目度）: 5.4924740564381125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a privacy-preserving method for sharing text data by sharing noisy versions of their transformer embeddings. It has been shown that hidden representations learned by deep models can encode sensitive information from the input, making it possible for adversaries to recover the input data with considerable accuracy. This problem is exacerbated in transformer embeddings because they consist of multiple vectors, one per token. To mitigate this risk, we propose Nonparametric Variational Differential Privacy (NVDP), which ensures both useful data sharing and strong privacy protection. We take a differential privacy approach, integrating a Nonparametric Variational Information Bottleneck (NVIB) layer into the transformer architecture to inject noise into its multi-vector embeddings and thereby hide information, and measuring privacy protection with Rényi divergence and its corresponding Bayesian Differential Privacy (BDP) guarantee. Training the NVIB layer calibrates the noise level according to utility. We test NVDP on the GLUE benchmark and show that varying the noise level gives us a useful tradeoff between privacy and accuracy. With lower noise levels, our model maintains high accuracy while offering strong privacy guarantees, effectively balancing privacy and utility.
• Abstract（参考訳）: 本稿では,変換器埋め込みのノイズの多いバージョンを共有することで,テキストデータを共有するためのプライバシ保護手法を提案する。 深層モデルによって学習された隠れ表現は、入力からのセンシティブな情報を符号化し、敵が入力データをかなりの精度で復元できることが示されている。 この問題は、トークンごとに1つの複数のベクトルで構成されているため、トランスフォーマーの埋め込みにおいて悪化する。 このリスクを軽減するために、有用なデータ共有と強力なプライバシー保護の両方を保証する非パラメトリック変動微分プライバシー(NVDP)を提案する。 我々は、非パラメトリック変分情報ボトルネック(NVIB)層をトランスフォーマーアーキテクチャに統合し、そのマルチベクトル埋め込みにノイズを注入し、情報を隠蔽し、レナイ発散とそれに対応するベイズ微分プライバシー(BDP)によるプライバシー保護を測定する。 NVIB層の訓練は、実用性に応じてノイズレベルを校正する。 GLUEベンチマークでNVDPを検証したところ、ノイズレベルの変化は、プライバシと精度のトレードオフに役立ちます。 ノイズレベルが低いため、当社のモデルは高い精度を維持しながら、強力なプライバシ保証を提供し、効果的にプライバシとユーティリティのバランスをとる。

関連論文リスト

• Synthetic Data Generation and Differential Privacy using Tensor Networks' Matrix Product States (MPS) [33.032422801043495]
  マトリックス製品状態(MPS)を用いたプライバシー保護のための高品質な合成データ生成手法を提案する。 我々は,MPSベースの生成モデルをCTGAN,VAE,PrivBayesといった最先端モデルと比較した。 以上の結果から,MPSは特に厳格なプライバシー制約の下で,従来のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-08-08T12:14:57Z)
• Privacy-Aware Decoding: Mitigating Privacy Leakage of Large Language Models in Retrieval-Augmented Generation [26.573578326262307]
  プライバシ・アウェア・デコーディング(英: Privacy-Aware Decoding、PAD)は、ガウス雑音を発生時にトークンロジットに適応的に注入する軽量な推論時防御法である。 PADは信頼性ベースのスクリーニングを統合して、リスクの高いトークンを選択的に保護し、不要なノイズを最小限に抑える効率的な感度推定と、プライバシと生成品質のバランスをとるためのコンテキスト対応ノイズ校正を行う。 我々の研究は、機密ドメインにおける普遍的でスケーラブルなプライバシソリューションを実現するために、デコード戦略を通じて、RAGのプライバシリスクを軽減するための重要な一歩を踏み出しています。
  論文  参考訳（メタデータ） (2025-08-05T05:22:13Z)
• Federated Learning with Differential Privacy: An Utility-Enhanced Approach [12.614480013684759]
  フェデレーション学習は、クライアントのデータを共有する必要性をなくすことによって、データのプライバシを保護するための魅力的なアプローチとして現れている。 最近の研究では、フェデレートされた学習だけではプライバシーが保証されないことが示されている。 本稿では,これらのバニラ微分プライベートアルゴリズムを,ハールウェーブレット変換ステップとノイズの分散を著しく低減する新しいノイズ注入方式に基づいて修正する。
  論文  参考訳（メタデータ） (2025-03-27T04:48:29Z)
• Activity Recognition on Avatar-Anonymized Datasets with Masked Differential Privacy [64.32494202656801]
  プライバシを保存するコンピュータビジョンは、機械学習と人工知能において重要な問題である。 本稿では,ビデオデータセット中の感性のある被験者を文脈内の合成アバターに置き換える匿名化パイプラインを提案する。 また、匿名化されていないがプライバシーに敏感な背景情報を保護するため、MaskDPを提案する。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy [51.11280118806893]
  サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。 有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。 より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
  論文  参考訳（メタデータ） (2023-02-19T16:58:53Z)
• How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
  DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。 プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
  論文  参考訳（メタデータ） (2022-11-18T11:39:03Z)
• Assessing Differentially Private Variational Autoencoders under Membership Inference [26.480694390462617]
  差分プライベートな変分オートエンコーダのプライバシーと精度のトレードオフを定量化し比較する。 変分オートエンコーダのプライバシーと精度のトレードオフを良好に観察することはめったになく,LCPがCDPを上回った事例を特定する。
  論文  参考訳（メタデータ） (2022-04-16T21:53:09Z)
• ADePT: Auto-encoder based Differentially Private Text Transformation [22.068984615657463]
  自動エンコーダを用いたユーティリティ保存型差分プライベートテキスト変換アルゴリズムを提案する。 我々のアルゴリズムはテキストを変換し、攻撃に対して堅牢性を提供し、意味的品質の高い変換を生成する。 その結果,提案手法はMIA攻撃に対して有効であり,基礎となる変換プロセスの有用性は低下しないことがわかった。
  論文  参考訳（メタデータ） (2021-01-29T23:15:24Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。