論文の概要: Training Mixed-Domain Translation Models via Federated Learning

• arxiv url: http://arxiv.org/abs/2205.01557v1
• Date: Tue, 3 May 2022 15:16:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 14:02:02.295808
• Title: Training Mixed-Domain Translation Models via Federated Learning
• Title（参考訳）: フェデレートラーニングによる混合ドメイン翻訳モデルの訓練
• Authors: Peyman Passban, Tanya Roosta, Rahul Gupta, Ankit Chadha, Clement Chung
• Abstract要約: 本研究では,混合ドメイン翻訳モデルの学習課題に対処するために,フェデレートラーニング(FL)を活用する。 トレーニングプロセスのわずかな変更により、FLベースのアグリゲーションが異なるドメインを融合させる際に、ニューラルマシン変換(NMT)エンジンを容易に適用できる。 本稿では,FL更新時に影響のあるパラメータを選択し,通信帯域幅を動的に制御する手法を提案する。
• 参考スコア（独自算出の注目度）: 16.71888086947849
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training mixed-domain translation models is a complex task that demands tailored architectures and costly data preparation techniques. In this work, we leverage federated learning (FL) in order to tackle the problem. Our investigation demonstrates that with slight modifications in the training process, neural machine translation (NMT) engines can be easily adapted when an FL-based aggregation is applied to fuse different domains. Experimental results also show that engines built via FL are able to perform on par with state-of-the-art baselines that rely on centralized training techniques. We evaluate our hypothesis in the presence of five datasets with different sizes, from different domains, to translate from German into English and discuss how FL and NMT can mutually benefit from each other. In addition to providing benchmarking results on the union of FL and NMT, we also propose a novel technique to dynamically control the communication bandwidth by selecting impactful parameters during FL updates. This is a significant achievement considering the large size of NMT engines that need to be exchanged between FL parties.
• Abstract（参考訳）: 混合ドメイン翻訳モデルのトレーニングは、カスタマイズされたアーキテクチャと高価なデータ準備技術を必要とする複雑なタスクである。 本研究では,この問題に取り組むために,連合学習(fl)を活用する。 本研究は, トレーニングプロセスのわずかな変更により, FLをベースとしたアグリゲーションを適用すると, ニューラルネットワーク変換(NMT)エンジンが容易に適用可能であることを示す。 実験の結果、flで構築されたエンジンは、集中トレーニング技術に依存する最先端のベースラインと同等の性能を発揮することが示されている。 異なるドメインから異なるサイズの5つのデータセットが存在する場合の仮説を評価し、ドイツ語から英語に翻訳し、FLとNMTが相互に利益を得る方法について論じる。 また,FLとNMTの結合に関するベンチマーク結果を提供するとともに,FL更新時に影響のあるパラメータを選択することで通信帯域幅を動的に制御する手法を提案する。 FLパーティ間で交換する必要があるNMTエンジンの大型化を考えると、これは大きな成果である。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Only Send What You Need: Learning to Communicate Efficiently in Federated Multilingual Machine Translation [19.28500206536013]
  フェデレートラーニング(FL)は多言語課題を解決するための有望なアプローチである。 モデル伝送の通信効率を向上させるメタ学習に基づく適応パラメータ選択手法MetaSendを提案する。 我々は,MetaSendが,限られた通信予算が存在する場合に,翻訳品質のベースラインよりも大幅に改善されることを実証した。
  論文  参考訳（メタデータ） (2024-01-15T04:04:26Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• When Federated Learning Meets Pre-trained Language Models' Parameter-Efficient Tuning Methods [22.16636947999123]
  フェデレート学習に様々なパラメータ効率チューニング(PETuning)手法を導入する。 具体的には,FL における代表的 PLM チューニング手法の総合的研究について述べる。 全体としての通信オーバーヘッドは、局所的なチューニングと、軽量モデルパラメータのグローバル集約によって大幅に削減できる。
  論文  参考訳（メタデータ） (2022-12-20T06:44:32Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Communication-Efficient Federated Learning for Neural Machine Translation [1.5362025549031046]
  フェデレートラーニング(FL)設定におけるニューラルネットワーク翻訳(NMT)モデルの訓練は、計算的にも通信的にも非効率である可能性がある。 本稿では,新しいソリューションを提案することにより,FLセットアップでNMTモデルを効率的に構築する方法を検討する。 通信オーバーヘッドを低減するために、すべてのニューラルネットワーク層のうち、私たちが"コントローラ"層と呼ぶものだけを交換します。
  論文  参考訳（メタデータ） (2021-12-12T03:16:03Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• FedHe: Heterogeneous Models and Communication-Efficient Federated Learning [0.0]
  フェデレートラーニング(FL)は、エッジデバイスを管理して、ローカルとプライベートのトレーニングデータを維持しながら、モデルを協調的にトレーニングすることができる。 本稿では,異種モデルを学習し,非同期学習プロセスを支援する知識蒸留にインスパイアされた新しいFL法であるFedHeを提案する。
  論文  参考訳（メタデータ） (2021-10-19T12:18:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。