Fugu-MT 論文翻訳(概要): Exploring Machine Learning Privacy/Utility trade-off from a hyperparameters Lens

論文の概要: Exploring Machine Learning Privacy/Utility trade-off from a hyperparameters Lens

arxiv url: http://arxiv.org/abs/2303.01819v1
Date: Fri, 3 Mar 2023 09:59:42 GMT
ステータス: 処理完了
システム内更新日: 2023-03-06 15:34:59.915104
Title: Exploring Machine Learning Privacy/Utility trade-off from a hyperparameters Lens
Title（参考訳）: ハイパーパラメータレンズによる機械学習プライバシ/ユーティリティトレードオフの探索
Authors: Ayoub Arous, Amira Guesmi, Muhammad Abdullah Hanif, Ihsen Alouani, and Muhammad Shafique
Abstract要約: Differentially Private Descent Gradient (DPSGD)は、プライバシ保護モデルをトレーニングするための最先端の手法である。アクティベーション関数をドロップインで置き換えることで、新しい最先端の精度を実現する。
参考スコア（独自算出の注目度）: 10.727571921061024
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Machine Learning (ML) architectures have been applied to several applications that involve sensitive data, where a guarantee of users' data privacy is required. Differentially Private Stochastic Gradient Descent (DPSGD) is the state-of-the-art method to train privacy-preserving models. However, DPSGD comes at a considerable accuracy loss leading to sub-optimal privacy/utility trade-offs. Towards investigating new ground for better privacy-utility trade-off, this work questions; (i) if models' hyperparameters have any inherent impact on ML models' privacy-preserving properties, and (ii) if models' hyperparameters have any impact on the privacy/utility trade-off of differentially private models. We propose a comprehensive design space exploration of different hyperparameters such as the choice of activation functions, the learning rate and the use of batch normalization. Interestingly, we found that utility can be improved by using Bounded RELU as activation functions with the same privacy-preserving characteristics. With a drop-in replacement of the activation function, we achieve new state-of-the-art accuracy on MNIST (96.02\%), FashionMnist (84.76\%), and CIFAR-10 (44.42\%) without any modification of the learning procedure fundamentals of DPSGD.
Abstract（参考訳）: 機械学習(ML)アーキテクチャは、ユーザのデータプライバシの保証が必要な機密データを含む複数のアプリケーションに適用されている。 Differentially Private Stochastic Gradient Descent (DPSGD)は、プライバシー保護モデルをトレーニングするための最先端の手法である。しかし、DPSGDはある程度の精度の低下により、準最適プライバシー/ユーティリティのトレードオフにつながる。プライバシーとユーティリティのトレードオフを改善するための新たな根拠を探るため、この作業は疑問を呈する。 (i)モデルのハイパーパラメータがMLモデルのプライバシ保護特性に固有の影響を与えている場合、 (ii) モデルのハイパーパラメータが、微分プライベートモデルのプライバシー/有効性トレードオフに何らかの影響を及ぼす場合。本稿では,アクティベーション関数の選択,学習率,バッチ正規化の利用など,さまざまなハイパーパラメータの包括的設計空間探索を提案する。興味深いことに、同じプライバシ保存特性を持つアクティベーション関数としてbounded reluを使用することで、ユーティリティが改善できることがわかりました。アクティベーション関数をドロップインで置き換えることで,dpsgdの学習手順の基本を変更することなく,mnist (96.02\%), fashionmnist (84.76\%), cifar-10 (44.42\%) の新たな最先端精度を実現する。

関連論文リスト

Efficient and Private: Memorisation under differentially private parameter-efficient fine-tuning in language models [2.3281513013731145]
特定のタスクのための微調整された大型言語モデル(LLM)は、不注意に記憶し、センシティブなトレーニングデータを漏洩する可能性があるため、プライバシのリスクをもたらす。差分プライバシー(DP)は、これらのリスクを軽減するソリューションを提供するが、重大な計算とパフォーマンスのトレードオフをもたらす。 PEFT法は,パラメータを少なくし,プライバシリークを著しく低減しつつ,標準的な微調整に匹敵する性能を実現する。
論文参考訳（メタデータ） (2024-11-24T13:17:36Z)
Masked Differential Privacy [64.32494202656801]
本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
論文参考訳（メタデータ） (2024-10-22T15:22:53Z)
Fine-Tuning Language Models with Differential Privacy through Adaptive Noise Allocation [33.795122935686706]
本稿では,モデルパラメータの重要性に基づいて適応的に付加雑音を割り当てる新しいアルゴリズムANADPを提案する。 ANADPは,一連のデータセットにおいて,通常の微調整と従来のDP微調整のパフォーマンスギャップを狭めることを実証する。
論文参考訳（メタデータ） (2024-10-03T19:02:50Z)
Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文参考訳（メタデータ） (2024-06-20T13:54:32Z)
Differentially Private Fine-Tuning of Diffusion Models [22.454127503937883]
微分プライバシーと拡散モデル(DM)の統合は、有望だが挑戦的なフロンティアを示している。この分野での最近の進歩は、公開データによる事前学習によって高品質な合成データを生成する可能性を強調している。本稿では,プライバシとユーティリティのトレードオフを高めるために,トレーニング可能なパラメータの数を最小限に抑える,プライベート拡散モデルに最適化された戦略を提案する。
論文参考訳（メタデータ） (2024-06-03T14:18:04Z)
Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-11-14T17:59:51Z)
Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文参考訳（メタデータ） (2022-04-15T22:36:55Z)
Accuracy, Interpretability, and Differential Privacy via Explainable Boosting [22.30100748652558]
我々は、EBM(Explainable Boosting Machines)に差分プライバシーを追加することで、プライバシーを保護しながら最先端の精度が得られることを示す。複数分類および回帰データセットを用いた実験により,DP-EBMモデルでは,強い差分プライバシー保証を伴っても驚くほど精度の低下がみられた。
論文参考訳（メタデータ） (2021-06-17T17:33:00Z)
Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文参考訳（メタデータ） (2021-02-25T04:29:58Z)
Tempered Sigmoid Activations for Deep Learning with Differential Privacy [33.574715000662316]
活性化関数の選択は、プライバシー保護の深層学習の感度を束縛することの中心であることを示す。我々は,MNIST,FashionMNIST,CIFAR10に対して,学習手順の基礎を変更することなく,新たな最先端の精度を実現する。
論文参考訳（メタデータ） (2020-07-28T13:19:45Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。