論文の概要: Communication-Efficient Federated Learning for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2112.06135v1
• Date: Sun, 12 Dec 2021 03:16:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 16:22:54.360885
• Title: Communication-Efficient Federated Learning for Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳のためのコミュニケーション効率の高い連合学習
• Authors: Tanya Roosta, Peyman Passban, Ankit Chadha
• Abstract要約: フェデレートラーニング(FL)設定におけるニューラルネットワーク翻訳(NMT)モデルの訓練は、計算的にも通信的にも非効率である可能性がある。 本稿では,新しいソリューションを提案することにより,FLセットアップでNMTモデルを効率的に構築する方法を検討する。 通信オーバーヘッドを低減するために、すべてのニューラルネットワーク層のうち、私たちが"コントローラ"層と呼ぶものだけを交換します。
• 参考スコア（独自算出の注目度）: 1.5362025549031046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training neural machine translation (NMT) models in federated learning (FL) settings could be inefficient both computationally and communication-wise, due to the large size of translation engines as well as the multiple rounds of updates required to train clients and a central server. In this paper, we explore how to efficiently build NMT models in an FL setup by proposing a novel solution. In order to reduce the communication overhead, out of all neural layers we only exchange what we term "Controller" layers. Controllers are a small number of additional neural components connected to our pre-trained architectures. These new components are placed in between original layers. They act as liaisons to communicate with the central server and learn minimal information that is sufficient enough to update clients. We evaluated the performance of our models on five datasets from different domains to translate from German into English. We noted that the models equipped with Controllers preform on par with those trained in a central and non-FL setting. In addition, we observed a substantial reduction in the communication traffic of the FL pipeline, which is a direct consequence of using Controllers. Based on our experiments, Controller-based models are ~6 times less expensive than their other peers. This reduction is significantly important when we consider the number of parameters in large models and it becomes even more critical when such parameters need to be exchanged for multiple rounds in FL settings.
• Abstract（参考訳）: 連合学習(fl)環境でのニューラルマシン翻訳(nmt)モデルのトレーニングは、大規模な翻訳エンジンと、クライアントと中央サーバのトレーニングに必要な更新の複数ラウンドのため、計算と通信の両方において非効率である可能性がある。 本稿では,新しいソリューションを提案することにより,FLセットアップでNMTモデルを効率的に構築する方法を検討する。 通信オーバーヘッドを減らすために、すべての神経層のうち、私たちが"コントローラ"層と呼ぶものだけを交換します。 コントローラは、トレーニング済みのアーキテクチャに接続された、少数の神経コンポーネントです。 これらの新しいコンポーネントは、元のレイヤの間に配置される。 彼らは中央サーバと通信し、クライアントを更新するのに十分な最小限の情報を学ぶための連絡役を果たす。 我々は、異なるドメインの5つのデータセットでモデルの性能を評価し、ドイツ語から英語に翻訳した。 コントローラを備えたモデルは、中央および非FL設定でトレーニングされたモデルと同程度にプリフォームされていることに留意した。 さらに,flパイプラインの通信トラフィックが大幅に減少し,コントローラの使用による直接的影響が確認された。 私たちの実験によると、コントローラベースのモデルは、他の仲間の約6倍のコストがかかります。 大規模モデルにおけるパラメータの数を考えると,この削減は極めて重要であり,FL設定において複数のラウンドでそのようなパラメータを交換する必要がある場合には,さらに重要になる。

関連論文リスト

• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• FFSplit: Split Feed-Forward Network For Optimizing Accuracy-Efficiency Trade-off in Language Model Inference [57.119047493787185]
  本稿では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56times$wall clock time speedupを無視できる精度低下で実現する方法を示す。 実際、本手法では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56Times$wall clock time speedupを無視できる精度で実現している。
  論文  参考訳（メタデータ） (2024-01-08T17:29:16Z)
• Toward efficient resource utilization at edge nodes in federated learning [0.6990493129893112]
  フェデレートされた学習により、エッジノードは、データを共有することなく、グローバルモデルの構築に協力的に貢献することができる。 計算リソースの制約とネットワーク通信は、ディープラーニングアプリケーションに典型的なより大きなモデルサイズにとって、深刻なボトルネックになる可能性がある。 デバイス上での資源利用を減らすため,転送学習にインスパイアされたFL戦略を提案し,評価する。
  論文  参考訳（メタデータ） (2023-09-19T07:04:50Z)
• Communication Efficient Federated Learning for Multilingual Neural Machine Translation with Adapter [21.512817959760007]
  Federated Multilingual Neural Machine Translation (Fed-MNMT)は、限られた言語資源を持つ機関にとって有望なパラダイムとして登場した。 このアプローチにより、複数の機関がクライアントとして行動し、集中的なトレーニングのためにセンシティブなデータを収集するのではなく、モデル同期を通じて統一されたモデルをトレーニングできる。 しかし, 事前学習言語モデル (PLM) のサイズが大きくなるにつれ, 同期時のパラメータ伝達の通信コストは, 訓練速度のボトルネックとなっている。 PLMを凍結し,クライアント間でのみ軽量なアダプタモジュールを転送することで,この問題に対処する通信効率の高いFed-MNMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T12:48:38Z)
• Federated Nearest Neighbor Machine Translation [66.8765098651988]
  本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。 FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。 実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
  論文  参考訳（メタデータ） (2023-02-23T18:04:07Z)
• Training Mixed-Domain Translation Models via Federated Learning [16.71888086947849]
  本研究では,混合ドメイン翻訳モデルの学習課題に対処するために,フェデレートラーニング(FL)を活用する。 トレーニングプロセスのわずかな変更により、FLベースのアグリゲーションが異なるドメインを融合させる際に、ニューラルマシン変換(NMT)エンジンを容易に適用できる。 本稿では,FL更新時に影響のあるパラメータを選択し,通信帯域幅を動的に制御する手法を提案する。
  論文  参考訳（メタデータ） (2022-05-03T15:16:51Z)
• Communication-Efficient Federated Learning with Binary Neural Networks [15.614120327271557]
  フェデレート・ラーニング(Federated Learning, FL)は、プライバシ保護のための機械学習環境である。 FLは、トレーニングをコーディネートするすべてのクライアントとサーバ間のパラメータの頻繁な交換を伴う。 本稿では,通常の実数値ニューラルネットワークの代わりに,FL設定におけるバイナリニューラルネットワーク(BNN)のトレーニングを検討する。
  論文  参考訳（メタデータ） (2021-10-05T15:59:49Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Wireless Communications for Collaborative Federated Learning [160.82696473996566]
  IoT(Internet of Things)デバイスは、収集したデータを中央のコントローラに送信することができず、機械学習モデルをトレーニングすることができる。 GoogleのセミナルFLアルゴリズムでは、すべてのデバイスを中央コントローラに直接接続する必要がある。 本稿では,コラボレーティブFL(CFL)と呼ばれる新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-03T20:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。