Fugu-MT 論文翻訳(概要): Data Efficient Subset Training with Differential Privacy

論文の概要: Data Efficient Subset Training with Differential Privacy

arxiv url: http://arxiv.org/abs/2503.06732v1
Date: Sun, 09 Mar 2025 19:05:10 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-11 15:46:47.341427
Title: Data Efficient Subset Training with Differential Privacy
Title（参考訳）: 差分プライバシを用いたデータ効率的なサブセットトレーニング
Authors: Ninad Jayesh Gandhi, Moparthy Venkata Subrahmanya Sri Harsha,
Abstract要約: 我々は、GLISTERをプライベートな設定に適応させ、その性能を広範囲に評価する。プライバシー予算の実践的な選択は、プライベート環境でのデータ効率のよいトレーニングには制限的すぎることを実証的に見出した。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Private machine learning introduces a trade-off between the privacy budget and training performance. Training convergence is substantially slower and extensive hyper parameter tuning is required. Consequently, efficient methods to conduct private training of models is thoroughly investigated in the literature. To this end, we investigate the strength of the data efficient model training methods in the private training setting. We adapt GLISTER (Killamsetty et al., 2021b) to the private setting and extensively assess its performance. We empirically find that practical choices of privacy budgets are too restrictive for data efficient training in the private setting.
Abstract（参考訳）: プライベート機械学習は、プライバシ予算とトレーニングパフォーマンスのトレードオフを導入する。トレーニング収束は極めて遅く、広範なハイパーパラメータチューニングが必要である。そこで本研究では,モデルの個人的訓練を効果的に行う方法について詳細に検討した。そこで本研究では,プライベートトレーニング環境におけるデータ効率のよいモデルトレーニング手法の強度について検討する。我々は、GLISTER(Killamsetty et al , 2021b)をプライベートな設定に適応させ、その性能を広範囲に評価する。プライバシー予算の実践的な選択は、プライベート環境でのデータ効率のよいトレーニングには制限的すぎることを実証的に見出した。

関連論文リスト

Task-Oriented Pre-Training for Drivable Area Detection [5.57325257338134]
本稿では,冗長なセグメンテーションの提案から始まるタスク指向の事前学習手法を提案する。次に、コントラスト言語画像事前学習(CLIP)モデルを微調整するための特定カテゴリー強化微調整(SCEF)戦略を導入する。このアプローチは、手動のアノテートデータを使用してさらに微調整された事前学習モデルの粗いトレーニングデータを生成することができる。
論文参考訳（メタデータ） (2024-09-30T10:25:47Z)
Too Good to be True? Turn Any Model Differentially Private With DP-Weights [0.0]
トレーニング後のモデルの重みに差分プライバシーノイズを適用する,画期的なアプローチを導入する。この新しいアプローチのプライバシ境界に対する包括的数学的証明を提供する。我々は,メンバシップ推論攻撃とパフォーマンス評価を用いて,その効果を実証的に評価する。
論文参考訳（メタデータ） (2024-06-27T19:58:11Z)
Unlocking Accuracy and Fairness in Differentially Private Image Classification [43.53494043189235]
差別化プライバシ(DP)は、プライバシ保護トレーニングのための金の標準フレームワークと考えられている。 DPを微調整した事前学習基礎モデルでは,非私的分類器と同様の精度が得られることを示す。
論文参考訳（メタデータ） (2023-08-21T17:42:33Z)
Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
論文参考訳（メタデータ） (2023-05-20T07:55:58Z)
Why Is Public Pretraining Necessary for Private Model Training? [50.054565310457306]
公開データに対する事前トレーニングは、非プライベートな設定よりも顕著な利益をもたらすことを示す。トレードオフは、アルゴリズムが2つのフェーズを通過する必要のある、より深い損失モデルかもしれない、と私たちは主張する。直観によって導かれた理論的な構成は、公的な事前訓練なしでの私的分離を確実に実証するものである。
論文参考訳（メタデータ） (2023-02-19T05:32:20Z)
Position: Considerations for Differentially Private Learning with Large-Scale Public Pretraining [75.25943383604266]
大規模なWebスクレイプデータセットの使用は、差分プライバシ保存と見なすべきかどうかを疑問視する。 Webデータ上で事前訓練されたこれらのモデルを“プライベート”として公開することで、市民のプライバシーに対する信頼を意味のあるプライバシの定義として損なう可能性があることを警告します。公的な事前学習がより普及し、強力になるにつれて、私的な学習分野への道のりを議論することで、我々は結論づける。
論文参考訳（メタデータ） (2022-12-13T10:41:12Z)
Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文参考訳（メタデータ） (2022-05-06T01:22:20Z)
Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。合成および実世界のデータセットに関する実験により理論的結果について述べる。
論文参考訳（メタデータ） (2022-02-10T20:44:44Z)
Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
論文参考訳（メタデータ） (2021-10-12T01:45:27Z)
Privacy Regularization: Joint Privacy-Utility Optimization in Language Models [27.389684148671858]
学習言語モデルのための2つのプライバシ保護正規化手法を提案する。私たちは、有利なユーティリティプライバシトレードオフで正規化の利点を示します。
論文参考訳（メタデータ） (2021-03-12T23:17:43Z)
DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing [0.0]
DPlis--Differentially Private Learning wIth Smoothingを提案します。 DPlisは,プライバシ予算の下でモデル品質とトレーニングの安定性を効果的に向上させることができることを示す。
論文参考訳（メタデータ） (2021-03-02T06:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。