論文の概要: Mitigating Noise Detriment in Differentially Private Federated Learning with Model Pre-training

• arxiv url: http://arxiv.org/abs/2408.09478v2
• Date: Thu, 09 Oct 2025 01:53:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.475323
• Title: Mitigating Noise Detriment in Differentially Private Federated Learning with Model Pre-training
• Title（参考訳）: モデル事前学習による個人差分学習における雑音の軽減
• Authors: Huitong Jin, Yipeng Zhou, Quan Z. Sheng, Shiting Wen, Laizhong Cui,
• Abstract要約: Differentially Private Learning (DPFL)は、ノイズを伴うモデル勾配の摂動によるプライバシー保護を強化する。 前回の実証実験では、ランダムパラメータではなく事前訓練による初期化がノイズ障害を軽減することが示唆された。 本稿では,3つの代表的な微調整戦略を体系的に評価するフレームワークであるPretrain-DPFLを提案する。
• 参考スコア（独自算出の注目度）: 29.46300520635549
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially Private Federated Learning (DPFL) strengthens privacy protection by perturbing model gradients with noise, though at the cost of reduced accuracy. Although prior empirical studies indicate that initializing from pre-trained rather than random parameters can alleviate noise disturbance, the problem of optimally fine-tuning pre-trained models in DPFL remains unaddressed. In this paper, we propose Pretrain-DPFL, a framework that systematically evaluates three most representative fine-tuning strategies: full-tuning (FT), head-tuning (HT), and unified-tuning(UT) combining HT followed by FT. Through convergence analysis under smooth non-convex loss, we establish theoretical conditions for identifying the optimal fine-tuning strategy in Pretrain-DPFL, thereby maximizing the benefits of pre-trained models in mitigating noise disturbance. Extensive experiments across multiple datasets demonstrate Pretrain-DPFL's superiority, achieving $25.22\%$ higher accuracy than scratch training and outperforming the second-best baseline by $8.19\%$, significantly improving the privacy-utility trade-off in DPFL.
• Abstract（参考訳）: Differentially Private Federated Learning (DPFL)は、精度の低下を犠牲にして、ノイズを伴うモデル勾配を摂動することで、プライバシー保護を強化する。 従来の実証実験では、ランダムパラメータではなく事前学習モデルから初期化することでノイズ障害を軽減できることが示されているが、DPFLにおける最適微調整事前学習モデルの問題は未解決のままである。 本稿では,HTとFTを組み合わせたフルチューニング(FT),ヘッドチューニング(HT),統一チューニング(UT)の3つの代表的な微調整戦略を体系的に評価するフレームワークであるPretrain-DPFLを提案する。 滑らかな非凸損失下での収束解析により、プレトレインDPFLにおける最適微調整戦略を特定する理論的条件を確立し、ノイズ障害を緩和する事前学習モデルの利点を最大化する。 複数のデータセットにわたる大規模な実験は、Pretrain-DPFLの優位性を実証し、スクラッチトレーニングよりも25.22.%の精度で達成し、第2ベットベースラインを8.19.%の精度で上回り、DPFLのプライバシーとユーティリティのトレードオフを大幅に改善した。

関連論文リスト

• Upcycling Noise for Federated Unlearning [10.943200894066125]
  不明瞭性を伴うフェデレーション・アンラーニング(FUI) FuIは、ローカルモデルリトラクションとグローバルノイズキャリブレーションの2つの主要なステップで構成されている。 FuIはメインストリームのFU方式に比べて優れたモデル性能と高い効率を実現している。
  論文  参考訳（メタデータ） (2024-12-07T04:07:40Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning [95.64041188351393]
  本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。 個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。 計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
  論文  参考訳（メタデータ） (2023-10-08T12:26:13Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)
• Towards Inadequately Pre-trained Models in Transfer Learning [37.66278189011681]
  より優れたImageNet事前訓練モデルでは、下流タスクへの転送性が向上することが示されている。 本稿では,同じ事前学習過程において,十分に訓練されていない中新世のモデルが,完全に訓練されたモデルより優れていることを示す。 我々の発見は、事前学習中、モデルはまず大きな特異値に対応するスペクトル成分を学習する傾向があることを示唆している。
  論文  参考訳（メタデータ） (2022-03-09T12:15:55Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。