論文の概要: On the privacy-utility trade-off in differentially private hierarchical text classification

• arxiv url: http://arxiv.org/abs/2103.02895v1
• Date: Thu, 4 Mar 2021 08:51:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 15:05:54.903367
• Title: On the privacy-utility trade-off in differentially private hierarchical text classification
• Title（参考訳）: 差動的階層的テキスト分類におけるプライバシ利用トレードオフについて
• Authors: Dominik Wunderlich, Daniel Bernau, Francesco Ald\`a, Javier Parra-Arnau, Thorsten Strufe
• Abstract要約: モデルトレーニング中に差分プライバシーを使用すると、トレーニングされたモデルに対する漏洩攻撃を軽減できる。 いくつかのモデルがモデル精度と差分プライベートトレーニング時のモデルリークとの間により良いトレードオフをもたらすかどうかは不明だ。 比較的弱い差分プライバシー保証が、メンバーシップ推論攻撃を完全に緩和するのに十分であることを示す。
• 参考スコア（独自算出の注目度）: 6.221019624345409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical models for text classification can leak sensitive or confidential training data information to adversaries due to training data memorization. Using differential privacy during model training can mitigate leakage attacks against trained models by perturbing the training optimizer. However, for hierarchical text classification a multiplicity of model architectures is available and it is unclear whether some architectures yield a better trade-off between remaining model accuracy and model leakage under differentially private training perturbation than others. We use a white-box membership inference attack to assess the information leakage of three widely used neural network architectures for hierarchical text classification under differential privacy. We show that relatively weak differential privacy guarantees already suffice to completely mitigate the membership inference attack, thus resulting only in a moderate decrease in utility. More specifically, for large datasets with long texts we observed transformer-based models to achieve an overall favorable privacy-utility trade-off, while for smaller datasets with shorter texts CNNs are preferable.
• Abstract（参考訳）: テキスト分類のための階層モデルは、トレーニングデータ記憶のために機密または機密のトレーニングデータ情報を敵に漏らすことができます。 モデルトレーニング中に差分プライバシーを使用することで、トレーニングオプティマイザを摂動させることで、トレーニングモデルに対する漏洩攻撃を軽減できます。 しかし、階層的なテキスト分類では、モデルアーキテクチャの多重性が利用可能であり、モデル精度とモデルリークとのトレードオフが、他のアーキテクチャよりも優れているかどうかは不明である。 我々は,ホワイトボックスのメンバシップ推論攻撃を用いて,階層的テキスト分類のための3つの広範に使用されているニューラルネットワークアーキテクチャの情報漏洩を評価する。 我々は,メンバシップ推論攻撃を完全に軽減するために,比較的弱い差分プライバシ保証がすでに十分であることを示す。 より具体的には、長いテキストを持つ大規模なデータセットでは、トランスベースのモデルを観察して、全体的に有利なプライバシユーティリティトレードオフを達成しました。

関連論文リスト

• Differential Privacy Regularization: Protecting Training Data Through Loss Function Regularization [49.1574468325115]
  ニューラルネットワークに基づく機械学習モデルのトレーニングには、機密情報を含む大きなデータセットが必要である。 差分的にプライベートなSGD [DP-SGD] は、新しいモデルをトレーニングするために標準勾配降下アルゴリズム(SGD)を変更する必要がある。 より効率的な方法で同じ目標を達成するための新しい正規化戦略が提案されている。
  論文  参考訳（メタデータ） (2024-09-25T17:59:32Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Approximate, Adapt, Anonymize (3A): a Framework for Privacy Preserving Training Data Release for Machine Learning [3.29354893777827]
  データリリースフレームワークである3A(Approximate, Adapt, Anonymize)を導入し、機械学習のデータユーティリティを最大化する。 本稿では,実データセットと民生データセットでトレーニングしたモデルの性能指標の相違が最小限に抑えられることを示す実験的な証拠を示す。
  論文  参考訳（メタデータ） (2023-07-04T18:37:11Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• On Deep Learning with Label Differential Privacy [54.45348348861426]
  ラベルは機密性があり、保護されるべきであるとするマルチクラス分類について検討する。 本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。
  論文  参考訳（メタデータ） (2021-02-11T15:09:06Z)
• Compression Boosts Differentially Private Federated Learning [0.7742297876120562]
  フェデレートされた学習により、分散エンティティは、自身のデータを共有することなく、共通のモデルを協調的にトレーニングできる。 悪意のあるエンティティが、捕獲された勾配から参加者のトレーニングデータに関するプライベート情報を学ぶことができるような、さまざまな推論や再構築攻撃に対して脆弱なままである。 本稿では,2つのデータセットを用いて,従来の非私的フェデレート学習方式と比較して,通信コストを最大95%削減できることを示す。
  論文  参考訳（メタデータ） (2020-11-10T13:11:03Z)
• Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
  モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。 本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。 実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T16:20:48Z)
• LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy [20.95527613004989]
  フェデレーション学習は、実際のデータではなく、局所的な勾配情報を収集するプライバシー保護のための一般的なアプローチである。 それまでの作業は3つの問題により現実的な解決には至らなかった。 最後に、ディープラーニングモデルにおける重みの高次元性により、プライバシー予算が爆発的に膨らみます。
  論文  参考訳（メタデータ） (2020-07-31T01:08:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。