論文の概要: Federated Learning with Dynamic Transformer for Text to Speech
- arxiv url: http://arxiv.org/abs/2107.08795v1
- Date: Fri, 9 Jul 2021 03:34:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-25 13:44:36.029813
- Title: Federated Learning with Dynamic Transformer for Text to Speech
- Title（参考訳）: テキストから音声への動的変換器によるフェデレーション学習
- Authors: Zhenhou Hong, Jianzong Wang, Xiaoyang Qu, Jie Liu, Chendong Zhao, Jing
Xiao
- Abstract要約: テキスト・トゥ・スピーチ(TTS)は、ユーザインタラクションにとって重要なタスクであるが、TSモデルトレーニングは、高品質なオリジナルデータセットの巨大なセットに依存している。
プライバシとセキュリティの問題のため、オリジナルのデータセットは直接利用できないことが多い。
近年、フェデレーテッド・ラーニングは、プライバシー保護機構を強化した、人気のある分散機械学習パラダイムを提案する。
- 参考スコア（独自算出の注目度）: 17.43146450213465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text to speech (TTS) is a crucial task for user interaction, but TTS model
training relies on a sizable set of high-quality original datasets. Due to
privacy and security issues, the original datasets are usually unavailable
directly. Recently, federated learning proposes a popular distributed machine
learning paradigm with an enhanced privacy protection mechanism. It offers a
practical and secure framework for data owners to collaborate with others, thus
obtaining a better global model trained on the larger dataset. However, due to
the high complexity of transformer models, the convergence process becomes slow
and unstable in the federated learning setting. Besides, the transformer model
trained in federated learning is costly communication and limited computational
speed on clients, impeding its popularity. To deal with these challenges, we
propose the federated dynamic transformer. On the one hand, the performance is
greatly improved comparing with the federated transformer, approaching
centralize-trained Transformer-TTS when increasing clients number. On the other
hand, it achieves faster and more stable convergence in the training phase and
significantly reduces communication time. Experiments on the LJSpeech dataset
also strongly prove our method's advantage.
- Abstract（参考訳）: text to speech(tts)はユーザインタラクションにとって重要なタスクだが、ttsモデルトレーニングは高品質なオリジナルデータセットのセットに依存している。
プライバシとセキュリティの問題のため、オリジナルのデータセットは通常、直接使用できない。
近年,連合学習は,プライバシ保護機構が強化された,一般的な分散機械学習パラダイムを提案する。
データ所有者が他の人とコラボレーションするための実用的でセキュアなフレームワークを提供するので、より大きなデータセットでトレーニングされたより良いグローバルモデルを得ることができる。
しかし、変圧器モデルの複雑性が高いため、連合学習環境では収束過程が遅く不安定になる。
さらに、連合学習で訓練されたトランスフォーマーモデルは、クライアント上での通信コストと計算速度の制限であり、その人気を妨げている。
これらの課題に対処するために,フェデレーション動的トランスフォーマを提案する。
一方, クライアント数が増加すると, 集中型トランスフォーマー-TTSに近づき, フェデレーショントランスに比べて性能が大幅に向上する。
一方、トレーニングフェーズにおけるより高速でより安定した収束を実現し、通信時間を著しく短縮する。
LJSpeechデータセットの実験も、我々の手法の利点を強く証明している。
関連論文リスト
- Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。
本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-24T13:30:03Z) - Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models [24.07770417615704]
大規模言語モデルの適応手法であるFedTTとFedTT+を紹介する。
FedTTは汎用的で、クロスサイロFLと大規模クロスデバイスFLの両方に適用できる。
提案手法は,データ不均一性の問題に対処し,既存のPEFT手法よりも同等あるいはそれ以上の精度で処理する。
論文 参考訳（メタデータ） (2024-10-16T23:50:39Z) - Heterogeneous Federated Learning with Splited Language Model [22.65325348176366]
フェデレート・スプリット・ラーニング(FSL)は、実際には有望な分散学習パラダイムである。
本稿では,前訓練画像変換器(PIT)をFedVと呼ばれる初期モデルとして利用し,トレーニングプロセスの高速化とモデルロバスト性の向上を図る。
我々は、実世界のデータセット、異なる部分的デバイス参加、異種データ分割におけるPITを用いたFSL手法の体系的評価を初めて行った。
論文 参考訳（メタデータ） (2024-03-24T07:33:08Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - FedET: A Communication-Efficient Federated Class-Incremental Learning
Framework Based on Enhanced Transformer [42.19443600254834]
本稿では,FedET(Federated Enhanced Transformer)という新しいフレームワークを提案する。
FedETは、小さなモジュールであるEnhancerを使って、新しい知識を吸収し、伝達する。
代表的なベンチマークデータセットにおけるFedETの平均精度は、最先端の手法よりも14.1%高い。
論文 参考訳（メタデータ） (2023-06-27T10:00:06Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-05-26T00:43:02Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - Rethinking Architecture Design for Tackling Data Heterogeneity in
Federated Learning [53.73083199055093]
注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。
我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
論文 参考訳（メタデータ） (2021-06-10T21:04:18Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳（メタデータ） (2020-12-15T12:20:28Z) - Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。
本稿では,自然言語処理タスクにmixupを適用する方法について検討する。
我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
論文 参考訳（メタデータ） (2020-10-05T23:37:30Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳（メタデータ） (2020-03-07T11:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。