Fugu-MT 論文翻訳(概要): Federated Learning with Differential Privacy for End-to-End Speech Recognition

論文の概要: Federated Learning with Differential Privacy for End-to-End Speech Recognition

arxiv url: http://arxiv.org/abs/2310.00098v1
Date: Fri, 29 Sep 2023 19:11:49 GMT
ステータス: 処理完了
システム内更新日: 2023-10-05 06:41:25.942104
Title: Federated Learning with Differential Privacy for End-to-End Speech Recognition
Title（参考訳）: エンドツーエンド音声認識のための微分プライバシーを用いたフェデレーション学習
Authors: Martin Pelikan, Sheikh Shams Azam, Vitaly Feldman, Jan "Honza" Silovsky, Kunal Talwar, Tatiana Likhomanenko
Abstract要約: フェデレートラーニング(FL)は、機械学習モデルをトレーニングするための有望なアプローチとして登場した。自動音声認識(ASR)のための差分プライバシー(DP)をFLに適用する。ユーザレベル(7.2$, 10-9$)-$textbfDP$(resp.$4.5$, 10-9$)-$textbfDP$(resp.$4.5$, 10-9$)-$textbfDP$は1.3%(resp.4.6%)で、ASRのDPを持つ$textbfFLの高(resp.low)集団スケールに対する外挿のための単語エラー率を絶対的に低下させる。
参考スコア（独自算出の注目度）: 41.53948098243563
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While federated learning (FL) has recently emerged as a promising approach to train machine learning models, it is limited to only preliminary explorations in the domain of automatic speech recognition (ASR). Moreover, FL does not inherently guarantee user privacy and requires the use of differential privacy (DP) for robust privacy guarantees. However, we are not aware of prior work on applying DP to FL for ASR. In this paper, we aim to bridge this research gap by formulating an ASR benchmark for FL with DP and establishing the first baselines. First, we extend the existing research on FL for ASR by exploring different aspects of recent $\textit{large end-to-end transformer models}$: architecture design, seed models, data heterogeneity, domain shift, and impact of cohort size. With a $\textit{practical}$ number of central aggregations we are able to train $\textbf{FL models}$ that are \textbf{nearly optimal} even with heterogeneous data, a seed model from another domain, or no pre-trained seed model. Second, we apply DP to FL for ASR, which is non-trivial since DP noise severely affects model training, especially for large transformer models, due to highly imbalanced gradients in the attention block. We counteract the adverse effect of DP noise by reviving per-layer clipping and explaining why its effect is more apparent in our case than in the prior work. Remarkably, we achieve user-level ($7.2$, $10^{-9}$)-$\textbf{DP}$ (resp. ($4.5$, $10^{-9}$)-$\textbf{DP}$) with a 1.3% (resp. 4.6%) absolute drop in the word error rate for extrapolation to high (resp. low) population scale for $\textbf{FL with DP in ASR}$.
Abstract（参考訳）: 近年、機械学習モデルをトレーニングするための有望なアプローチとしてフェデレート・ラーニング(FL)が登場したが、これは自動音声認識(ASR)分野における予備的な探索に限られている。さらに、FLは本質的にユーザーのプライバシーを保証せず、堅牢なプライバシー保証のために差分プライバシー(DP)を使用する必要がある。しかし, ASR において DP を FL に適用する以前の作業は, 認識されていない。本稿では,この研究のギャップを埋めるために,flのasrベンチマークをdpで定式化し,最初のベースラインを確立する。まず,最近の$\textit{large end-to-end transformer models}$:アーキテクチャ設計,シードモデル,データ不均質性,ドメインシフト,コホートサイズの影響など,さまざまな側面を探求することで,asrのためのflに関する既存の研究を拡張します。 $\textit{practical}$ 中心アグリゲーションの数が$\textbf{FL model}$は異種データ、他のドメインからのシードモデル、事前訓練されたシードモデルであっても、 \textbf{nearly optimal} である。第2に, dpノイズがモデルトレーニング, 特に大規模変圧器モデルに多大な影響を及ぼすため, 注意ブロックの勾配が高度に不均衡であるため, asrに対するdpの適用は非自明である。我々は,dpノイズの悪影響を,各層クリッピングを復活させ,その効果が先行研究よりも我々の場合の方が顕著である理由を説明する。注目すべきは、ユーザレベル(7.2$, 10^{-9}$)-$\textbf{DP}$ (resp)を達成することです。 4.5$, 10^{-9}$)-$\textbf{DP}$) で、1.3% (resp. 4.6%) の単語エラー率の絶対値が、ASR}$のDPで$\textbf{FLに対して高い (resp.low) 人口規模に低下する。

関連論文リスト

Monge-Ampere Regularization for Learning Arbitrary Shapes from Point Clouds [69.69726932986923]
任意の曲面型をモデル化するための新しい暗黙曲面表現であるスケールド2乗距離関数 (S$2$DF) を提案する。 S$2$DFは、ゼロレベルセットでのUDFの非微分可能性問題に効果的に対処しながら、内部領域と外部領域を区別しない。 S$2$DF はモンゲ・アンペア型の二次偏微分方程式を満たすことを示した。
論文参考訳（メタデータ） (2024-10-24T06:56:34Z)
DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
論文参考訳（メタデータ） (2024-10-21T16:25:14Z)
DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation [15.023077875990614]
フェデレートラーニング(FL)は、クライアントがローカルデータをサーバと共有することなく、グローバルモデルを協調的にトレーニングすることを可能にする。差分プライバシ(DP)は、クライアントのコントリビューションにランダム性を加えるメカニズムを備えた、正式なプライバシ保証を提供することによって、そのようなリークに対処する。差分プライバシーと組み合わせてDP-DyLoRAと呼ぶ適応手法を提案する。
論文参考訳（メタデータ） (2024-05-10T10:10:37Z)
Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-07T15:03:50Z)
Differentially Private Reward Estimation with Preference Feedback [15.943664678210146]
嗜好に基づくフィードバックから学ぶことは最近、生成モデルと人間の関心を結びつけるための有望なアプローチとして、かなりの注目を集めている。上記のパイプラインの任意のステップにおける敵攻撃は、人間のラベルのプライベートで機密性の高い情報を明らかにする可能性がある。我々は、各ラベルのプライバシーを保護しつつ、嗜好に基づくフィードバックからの報酬推定の問題に焦点をあてる。
論文参考訳（メタデータ） (2023-10-30T16:58:30Z)
Differentially Private Deep Learning with ModelMix [14.445182641912014]
そこで本研究では,中間モデル状態のランダムアグリゲーションを行う, Em ModelMix と呼ばれる汎用最適化フレームワークを提案する。トレーニング軌跡のエントロピーを利用した複合プライバシー分析を強化する。本研究は,勾配クリッピングの効果に関する公式な研究である。
論文参考訳（メタデータ） (2022-10-07T22:59:00Z)
The Fundamental Price of Secure Aggregation in Differentially Private Federated Learning [34.630300910399036]
我々は、$varepsilon$ Central DPの下で最高の精度を得るために必要な基本的な通信コストを特徴付ける。我々の結果は、$tildeOleft( min(n2varepsilon2, d) right)$ bits per client が十分かつ必要であることを示している。これにより、最先端のSecAgg分散DPスキームに対して大幅に改善される。
論文参考訳（メタデータ） (2022-03-07T22:56:09Z)
Differentially Private Exploration in Reinforcement Learning with Linear Representation [102.17246636801649]
まず,線形混合MDP(Ayob et al., 2020)の設定(モデルベース設定)について検討し,共同・局所微分プライベート(DP)探索を統一的に分析するための枠組みを提供する。我々はさらに、線形MDP(Jin et al., 2020)におけるプライバシー保護探索(つまりモデルフリー設定)について研究し、$widetildeO(sqrtK/epsilon)$ regret bound for $(epsilon,delta)を提供する。
論文参考訳（メタデータ） (2021-12-02T19:59:50Z)
FeO2: Federated Learning with Opt-Out Differential Privacy [34.08435990347253]
フェデレートラーニング(FL)は、クライアントデータをローカルに保ちながら、グローバルモデルを中央サーバでトレーニングする、新たなプライバシ保護パラダイムである。差分プライバシー(DP)はFL内でのプライバシー保証を提供するために用いられる。本稿では,emphFeO2と呼ばれるオプトアウトDPを用いたフェデレーション学習のための新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-10-28T16:08:18Z)
On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文参考訳（メタデータ） (2021-01-11T19:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。