論文の概要: Mitigating Noise Detriment in Differentially Private Federated Learning with Model Pre-training

• arxiv url: http://arxiv.org/abs/2408.09478v1
• Date: Sun, 18 Aug 2024 13:48:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-20 20:30:46.929148
• Title: Mitigating Noise Detriment in Differentially Private Federated Learning with Model Pre-training
• Title（参考訳）: モデル事前学習による個人差分学習における雑音の軽減
• Authors: Huitong Jin, Yipeng Zhou, Laizhong Cui, Quan Z. Sheng,
• Abstract要約: 事前トレーニングは、公開データセットを利用して高度な機械学習モデルを事前トレーニングする。 我々は、モデル事前学習が、微分プライベートなフェデレーション学習におけるノイズの軽減をいかに可能か、最初に検討する。
• 参考スコア（独自算出の注目度）: 27.1846697092374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training exploits public datasets to pre-train an advanced machine learning model, so that the model can be easily tuned to adapt to various downstream tasks. Pre-training has been extensively explored to mitigate computation and communication resource consumption. Inspired by these advantages, we are the first to explore how model pre-training can mitigate noise detriment in differentially private federated learning (DPFL). DPFL is upgraded from federated learning (FL), the de-facto standard for privacy preservation when training the model across multiple clients owning private data. DPFL introduces differentially private (DP) noises to obfuscate model gradients exposed in FL, which however can considerably impair model accuracy. In our work, we compare head fine-tuning (HT) and full fine-tuning (FT), which are based on pre-training, with scratch training (ST) in DPFL through a comprehensive empirical study. Our experiments tune pre-trained models (obtained by pre-training on ImageNet-1K) with CIFAR-10, CHMNIST and Fashion-MNIST (FMNIST) datasets, respectively. The results demonstrate that HT and FT can significantly mitigate noise influence by diminishing gradient exposure times. In particular, HT outperforms FT when the privacy budget is tight or the model size is large. Visualization and explanation study further substantiates our findings. Our pioneering study introduces a new perspective on enhancing DPFL and expanding its practical applications.
• Abstract（参考訳）: 事前トレーニングは、公開データセットを利用して高度な機械学習モデルを事前トレーニングする。 事前学習は、計算と通信資源の消費を軽減するために広く研究されている。 これらの利点に触発されて、我々は、モデル事前学習が、微分プライベート・フェデレーション・ラーニング(DPFL)におけるノイズの低減をいかに軽減するかを初めて検討する。 DPFLは、プライベートデータを所有する複数のクライアントでモデルをトレーニングする際に、プライバシ保護のためのデファクトスタンダードであるフェデレートラーニング(FL)からアップグレードされる。 DPFLは、FLで露出するモデル勾配を難読化するために、差分プライベート(DP)ノイズを導入するが、モデル精度をかなり損なう可能性がある。 本研究は, プレトレーニングに基づく頭部微調整(HT)とフル微調整(FT)と, DPFLにおけるスクラッチトレーニング(ST)を総合的な実証研究により比較した。 我々は,CIFAR-10,CHMNIST,Fashion-MNIST(FMNIST)データセットを用いて,事前学習モデル(ImageNet-1Kで事前学習した)をチューニングした。 その結果、HTとFTは、勾配露光時間を減少させることで、ノイズの影響を著しく軽減できることが示された。 特にHTは、プライバシー予算が厳しい場合やモデルサイズが大きい場合、FTを上回っている。 可視化と説明研究は我々の発見をさらに裏付けるものである。 我々の先駆的な研究は、DPFLの強化と実践的応用の拡充に新たな視点をもたらす。

関連論文リスト

• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• Prediction Loss Guided Decision-Focused Learning [33.28196791099554]
  決定中心学習(DFL)は、決定品質を直接エンドツーエンドで最適化することで予測モデルを訓練する。 PFLはより安定した最適化をもたらすが、下流の意思決定品質を見落としている。 本稿では, 予測損失勾配を用いて決定損失勾配を摂動させ, 更新方向を構築するという, 単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2025-09-10T07:49:04Z)
• APT: Adaptive Personalized Training for Diffusion Models with Limited Data [6.455553965143672]
  本稿では、適応的なトレーニング戦略を採用し、微調整中にモデルの内部表現を規則化することで過度な適合を緩和する新しいフレームワークを提案する。 広範な実験を通じて、APTは過剰適合を効果的に軽減し、事前知識を保存し、参照データに制限のある高品質で多様な画像を生成する既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-07-03T14:58:08Z)
• Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
  本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。 そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:42:29Z)
• Overtrained Language Models Are Harder to Fine-Tune [64.44743256512237]
  大規模言語モデルは、成長を続けるトークン予算に基づいて事前訓練されている。 事前トレーニングの拡張により、モデルを微調整しにくくなり、最終的なパフォーマンスが低下することを示した。
  論文  参考訳（メタデータ） (2025-03-24T23:11:56Z)
• Upcycling Noise for Federated Unlearning [10.943200894066125]
  不明瞭性を伴うフェデレーション・アンラーニング(FUI) FuIは、ローカルモデルリトラクションとグローバルノイズキャリブレーションの2つの主要なステップで構成されている。 FuIはメインストリームのFU方式に比べて優れたモデル性能と高い効率を実現している。
  論文  参考訳（メタデータ） (2024-12-07T04:07:40Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• HFT: Half Fine-Tuning for Large Language Models [42.60438623804577]
  1つ以上の微調整フェーズを持つ大規模言語モデル(LLM)は、様々な機能をアンロックするために必要なステップとなっている。 本稿では,部分的パラメータを定期的にリセットすることで,LLMが元の知識の一部を復元できることを見出した。 本稿では,LLM 用ハーフファインチューニング (HFT) をフルファインチューニング (FFT) の代替として導入し,忘れる問題を緩和する。
  論文  参考訳（メタデータ） (2024-04-29T07:07:58Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Characterizing the Training Dynamics of Private Fine-tuning with Langevin diffusion [37.98959061338993]
  そこで本研究では,DP-FFTとDP-FFTを併用することにより,理論的および経験的両方の結果に基づいて,事前訓練した背骨の特徴を歪曲することができることを示す。 逐次的な微調整戦略が特徴歪みを軽減することを実証する。
  論文  参考訳（メタデータ） (2024-02-29T07:01:48Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning [95.64041188351393]
  本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。 個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。 計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
  論文  参考訳（メタデータ） (2023-10-08T12:26:13Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)
• Parameter-Efficient Learning for Text-to-Speech Accent Adaptation [58.356667204518985]
  本稿では、テキスト音声(TTS)のための低リソースアクセント適応を開発するためのパラメータ効率学習(PEL)を提案する。 冷凍前訓練TSモデルからの資源効率適応は、元のトレーニング可能なパラメータの1.2%から0.8%しか使用していない。 実験結果から,提案手法はパラメータ効率の高いデコーダの微調整により,自然度と競合できることがわかった。
  論文  参考訳（メタデータ） (2023-05-18T22:02:59Z)
• Towards Inadequately Pre-trained Models in Transfer Learning [37.66278189011681]
  より優れたImageNet事前訓練モデルでは、下流タスクへの転送性が向上することが示されている。 本稿では,同じ事前学習過程において,十分に訓練されていない中新世のモデルが,完全に訓練されたモデルより優れていることを示す。 我々の発見は、事前学習中、モデルはまず大きな特異値に対応するスペクトル成分を学習する傾向があることを示唆している。
  論文  参考訳（メタデータ） (2022-03-09T12:15:55Z)
• AdaTerm: Adaptive T-Distribution Estimated Robust Moments for Noise-Robust Stochastic Gradient Optimization [14.531550983885772]
  本稿では,学生のt分布を取り入れた新しいアプローチであるAdaTermを提案する。 これは最適化プロセスの統一的な処理を提供し、初めてt分布の統計モデルの下で包括的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2022-01-18T03:13:19Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。