Fugu-MT 論文翻訳(概要): Enabling Differentially Private Federated Learning for Speech Recognition: Benchmarks, Adaptive Optimizers and Gradient Clipping

論文の概要: Enabling Differentially Private Federated Learning for Speech Recognition: Benchmarks, Adaptive Optimizers and Gradient Clipping

arxiv url: http://arxiv.org/abs/2310.00098v2
Date: Thu, 29 May 2025 18:36:53 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-02 19:47:52.350889
Title: Enabling Differentially Private Federated Learning for Speech Recognition: Benchmarks, Adaptive Optimizers and Gradient Clipping
Title（参考訳）: 音声認識のための微分プライベートフェデレーション学習の実現:ベンチマーク,適応最適化,グラディエントクリッピング
Authors: Martin Pelikan, Sheikh Shams Azam, Vitaly Feldman, Jan "Honza" Silovsky, Kunal Talwar, Christopher G. Brinton, Tatiana Likhomanenko,
Abstract要約: DP付きFLは、少なくとも数百万のユーザを抱える場合、強力なプライバシー保証の下で有効であることを示す。 ASR の DP と FL の高 (低い) 個体群に外挿した場合, 単語誤り率を 1.3% に抑えたユーザレベル (7.2, 10-9$)-DP (4.5, 10-9$)-DP を実現する。
参考スコア（独自算出の注目度）: 42.2819343711085
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While federated learning (FL) and differential privacy (DP) have been extensively studied, their application to automatic speech recognition (ASR) remains largely unexplored due to the challenges in training large transformer models. Specifically, large models further exacerbate issues in FL as they are particularly susceptible to gradient heterogeneity across layers, unlike the relatively uniform gradient behavior observed in shallow models. As a result, prior works struggle to converge with standard optimization techniques, even in the absence of DP mechanisms. To the best of our knowledge, no existing work establishes a competitive, practical recipe for FL with DP in the context of ASR. To address this gap, we establish \textbf{the first benchmark for FL with DP in end-to-end ASR}. Our approach centers on per-layer clipping and layer-wise gradient normalization: theoretical analysis reveals that these techniques together mitigate clipping bias and gradient heterogeneity across layers in deeper models. Consistent with these theoretical insights, our empirical results show that FL with DP is viable under strong privacy guarantees, provided a population of at least several million users. Specifically, we achieve user-level (7.2, $10^{-9}$)-DP (resp. (4.5, $10^{-9}$)-DP) with only a 1.3% (resp. 4.6%) absolute drop in word error rate when extrapolating to high (resp. low) population scales for FL with DP in ASR. Although our experiments focus on ASR, the underlying principles we uncover - particularly those concerning gradient heterogeneity and layer-wise gradient normalization - offer broader guidance for designing scalable, privacy-preserving FL algorithms for large models across domains.
Abstract（参考訳）: フェデレートラーニング(FL)とディファレンシャルプライバシ(DP)は広く研究されているが、大きなトランスフォーマーモデルを訓練する上での課題のため、自動音声認識(ASR)への応用は明らかにされていない。特に大きなモデルは、浅いモデルで観察される比較的均一な勾配挙動とは異なり、層間の勾配不均一性の影響を受けやすいため、FLの問題をさらに悪化させる。その結果,DP機構が欠如していても,事前の作業は標準的な最適化手法との収束に苦慮している。我々の知る限りでは、既存の研究は、ASRの文脈でDPとFLの競争的で実践的なレシピを確立していない。このギャップに対処するため, エンドツーエンドの ASR において DP を用いた FL の最初のベンチマークである \textbf{a> を確立する。理論的解析により, 層間クリッピングバイアスと層間勾配不均一性を緩和することが明らかとなった。これらの理論的な知見と一致して、私たちの実証的な結果は、FLとDPは強力なプライバシー保証の下で実現可能であることを示している。具体的には,ユーザレベル (7.2, 10^{-9}$)-DP (resp。 (4.5, 10^{-9}$)-DP) の単語誤り率は1.3% (resp. 4.6%) であり, ASR では DP で FL で高 (resp.low) に外挿した場合に絶対値が低下する。私たちの実験は、ASRに焦点を当てていますが、特に勾配の不均一性や階層的な勾配正規化に関する基礎となる原則は、ドメイン全体にわたる大規模モデルのためのスケーラブルでプライバシ保護のFLアルゴリズムを設計するためのより広範なガイダンスを提供します。

関連論文リスト

Monge-Ampere Regularization for Learning Arbitrary Shapes from Point Clouds [69.69726932986923]
任意の曲面型をモデル化するための新しい暗黙曲面表現であるスケールド2乗距離関数 (S$2$DF) を提案する。 S$2$DFは、ゼロレベルセットでのUDFの非微分可能性問題に効果的に対処しながら、内部領域と外部領域を区別しない。 S$2$DF はモンゲ・アンペア型の二次偏微分方程式を満たすことを示した。
論文参考訳（メタデータ） (2024-10-24T06:56:34Z)
DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
論文参考訳（メタデータ） (2024-10-21T16:25:14Z)
DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation [15.023077875990614]
フェデレートラーニング(FL)は、クライアントがローカルデータをサーバと共有することなく、グローバルモデルを協調的にトレーニングすることを可能にする。差分プライバシ(DP)は、クライアントのコントリビューションにランダム性を加えるメカニズムを備えた、正式なプライバシ保証を提供することによって、そのようなリークに対処する。差分プライバシーと組み合わせてDP-DyLoRAと呼ぶ適応手法を提案する。
論文参考訳（メタデータ） (2024-05-10T10:10:37Z)
Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-07T15:03:50Z)
Differentially Private Reward Estimation with Preference Feedback [15.943664678210146]
嗜好に基づくフィードバックから学ぶことは最近、生成モデルと人間の関心を結びつけるための有望なアプローチとして、かなりの注目を集めている。上記のパイプラインの任意のステップにおける敵攻撃は、人間のラベルのプライベートで機密性の高い情報を明らかにする可能性がある。我々は、各ラベルのプライバシーを保護しつつ、嗜好に基づくフィードバックからの報酬推定の問題に焦点をあてる。
論文参考訳（メタデータ） (2023-10-30T16:58:30Z)
Differentially Private Deep Learning with ModelMix [14.445182641912014]
そこで本研究では,中間モデル状態のランダムアグリゲーションを行う, Em ModelMix と呼ばれる汎用最適化フレームワークを提案する。トレーニング軌跡のエントロピーを利用した複合プライバシー分析を強化する。本研究は,勾配クリッピングの効果に関する公式な研究である。
論文参考訳（メタデータ） (2022-10-07T22:59:00Z)
The Fundamental Price of Secure Aggregation in Differentially Private Federated Learning [34.630300910399036]
我々は、$varepsilon$ Central DPの下で最高の精度を得るために必要な基本的な通信コストを特徴付ける。我々の結果は、$tildeOleft( min(n2varepsilon2, d) right)$ bits per client が十分かつ必要であることを示している。これにより、最先端のSecAgg分散DPスキームに対して大幅に改善される。
論文参考訳（メタデータ） (2022-03-07T22:56:09Z)
Differentially Private Exploration in Reinforcement Learning with Linear Representation [102.17246636801649]
まず,線形混合MDP(Ayob et al., 2020)の設定(モデルベース設定)について検討し,共同・局所微分プライベート(DP)探索を統一的に分析するための枠組みを提供する。我々はさらに、線形MDP(Jin et al., 2020)におけるプライバシー保護探索(つまりモデルフリー設定)について研究し、$widetildeO(sqrtK/epsilon)$ regret bound for $(epsilon,delta)を提供する。
論文参考訳（メタデータ） (2021-12-02T19:59:50Z)
FeO2: Federated Learning with Opt-Out Differential Privacy [34.08435990347253]
フェデレートラーニング(FL)は、クライアントデータをローカルに保ちながら、グローバルモデルを中央サーバでトレーニングする、新たなプライバシ保護パラダイムである。差分プライバシー(DP)はFL内でのプライバシー保証を提供するために用いられる。本稿では,emphFeO2と呼ばれるオプトアウトDPを用いたフェデレーション学習のための新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-10-28T16:08:18Z)
On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文参考訳（メタデータ） (2021-01-11T19:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。