論文の概要: Mitigating Noise Detriment in Differentially Private Federated Learning with Model Pre-training

• arxiv url: http://arxiv.org/abs/2408.09478v1
• Date: Sun, 18 Aug 2024 13:48:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 20:30:46.929148
• Title: Mitigating Noise Detriment in Differentially Private Federated Learning with Model Pre-training
• Title（参考訳）: モデル事前学習による個人差分学習における雑音の軽減
• Authors: Huitong Jin, Yipeng Zhou, Laizhong Cui, Quan Z. Sheng,
• Abstract要約: 事前トレーニングは、公開データセットを利用して高度な機械学習モデルを事前トレーニングする。 我々は、モデル事前学習が、微分プライベートなフェデレーション学習におけるノイズの軽減をいかに可能か、最初に検討する。
• 参考スコア（独自算出の注目度）: 27.1846697092374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training exploits public datasets to pre-train an advanced machine learning model, so that the model can be easily tuned to adapt to various downstream tasks. Pre-training has been extensively explored to mitigate computation and communication resource consumption. Inspired by these advantages, we are the first to explore how model pre-training can mitigate noise detriment in differentially private federated learning (DPFL). DPFL is upgraded from federated learning (FL), the de-facto standard for privacy preservation when training the model across multiple clients owning private data. DPFL introduces differentially private (DP) noises to obfuscate model gradients exposed in FL, which however can considerably impair model accuracy. In our work, we compare head fine-tuning (HT) and full fine-tuning (FT), which are based on pre-training, with scratch training (ST) in DPFL through a comprehensive empirical study. Our experiments tune pre-trained models (obtained by pre-training on ImageNet-1K) with CIFAR-10, CHMNIST and Fashion-MNIST (FMNIST) datasets, respectively. The results demonstrate that HT and FT can significantly mitigate noise influence by diminishing gradient exposure times. In particular, HT outperforms FT when the privacy budget is tight or the model size is large. Visualization and explanation study further substantiates our findings. Our pioneering study introduces a new perspective on enhancing DPFL and expanding its practical applications.
• Abstract（参考訳）: 事前トレーニングは、公開データセットを利用して高度な機械学習モデルを事前トレーニングする。 事前学習は、計算と通信資源の消費を軽減するために広く研究されている。 これらの利点に触発されて、我々は、モデル事前学習が、微分プライベート・フェデレーション・ラーニング(DPFL)におけるノイズの低減をいかに軽減するかを初めて検討する。 DPFLは、プライベートデータを所有する複数のクライアントでモデルをトレーニングする際に、プライバシ保護のためのデファクトスタンダードであるフェデレートラーニング(FL)からアップグレードされる。 DPFLは、FLで露出するモデル勾配を難読化するために、差分プライベート(DP)ノイズを導入するが、モデル精度をかなり損なう可能性がある。 本研究は, プレトレーニングに基づく頭部微調整(HT)とフル微調整(FT)と, DPFLにおけるスクラッチトレーニング(ST)を総合的な実証研究により比較した。 我々は,CIFAR-10,CHMNIST,Fashion-MNIST(FMNIST)データセットを用いて,事前学習モデル(ImageNet-1Kで事前学習した)をチューニングした。 その結果、HTとFTは、勾配露光時間を減少させることで、ノイズの影響を著しく軽減できることが示された。 特にHTは、プライバシー予算が厳しい場合やモデルサイズが大きい場合、FTを上回っている。 可視化と説明研究は我々の発見をさらに裏付けるものである。 我々の先駆的な研究は、DPFLの強化と実践的応用の拡充に新たな視点をもたらす。

関連論文リスト

• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning [95.64041188351393]
  本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。 個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。 計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
  論文  参考訳（メタデータ） (2023-10-08T12:26:13Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)
• Towards Inadequately Pre-trained Models in Transfer Learning [37.66278189011681]
  より優れたImageNet事前訓練モデルでは、下流タスクへの転送性が向上することが示されている。 本稿では,同じ事前学習過程において,十分に訓練されていない中新世のモデルが,完全に訓練されたモデルより優れていることを示す。 我々の発見は、事前学習中、モデルはまず大きな特異値に対応するスペクトル成分を学習する傾向があることを示唆している。
  論文  参考訳（メタデータ） (2022-03-09T12:15:55Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。