論文の概要: Only Send What You Need: Learning to Communicate Efficiently in Federated Multilingual Machine Translation

• arxiv url: http://arxiv.org/abs/2401.07456v1
• Date: Mon, 15 Jan 2024 04:04:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 18:09:43.809035
• Title: Only Send What You Need: Learning to Communicate Efficiently in Federated Multilingual Machine Translation
• Title（参考訳）: 必要なもののみを送る:フェデレートされた多言語機械翻訳において効率よくコミュニケーションを学ぶ
• Authors: Yun-Wei Chu, Dong-Jun Han, Christopher G. Brinton
• Abstract要約: フェデレートラーニング(FL)は多言語課題を解決するための有望なアプローチである。 モデル伝送の通信効率を向上させるメタ学習に基づく適応パラメータ選択手法MetaSendを提案する。 我々は,MetaSendが,限られた通信予算が存在する場合に,翻訳品質のベースラインよりも大幅に改善されることを実証した。
• 参考スコア（独自算出の注目度）: 19.28500206536013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is a promising approach for solving multilingual tasks, potentially enabling clients with their own language-specific data to collaboratively construct a high-quality neural machine translation (NMT) model. However, communication constraints in practical network systems present challenges for exchanging large-scale NMT engines between FL parties. In this paper, we propose a meta-learning-based adaptive parameter selection methodology, MetaSend, that improves the communication efficiency of model transmissions from clients during FL-based multilingual NMT training. Our approach learns a dynamic threshold for filtering parameters prior to transmission without compromising the NMT model quality, based on the tensor deviations of clients between different FL rounds. Through experiments on two NMT datasets with different language distributions, we demonstrate that MetaSend obtains substantial improvements over baselines in translation quality in the presence of a limited communication budget.
• Abstract（参考訳）: フェデレートラーニング(FL)は多言語タスクを解決するための有望なアプローチであり、クライアントが自身の言語固有のデータを使って、高品質なニューラルマシン翻訳(NMT)モデルを構築することを可能にする可能性がある。 しかし,実用的ネットワークシステムにおける通信制約は,FLパーティ間で大規模NMTエンジンを交換する上での課題となる。 本稿では,マルチリンガルnmt学習中のクライアントからのモデル伝達の通信効率を向上させるメタラーニングに基づく適応パラメータ選択手法であるmetasendを提案する。 提案手法は,異なるFLラウンド間のクライアントのテンソル偏差に基づいて,NMTモデルの品質を損なうことなく,伝送前にパラメータをフィルタリングする動的しきい値を求める。 異なる言語分布を持つ2つのNMTデータセットの実験を通して,MetaSendは,限られた通信予算が存在する場合に,翻訳品質のベースラインよりも大幅に向上することを示した。

関連論文リスト

• LANDeRMT: Detecting and Routing Language-Aware Neurons for Selectively Finetuning LLMs to Machine Translation [43.26446958873554]
  大規模言語モデル(LLM)は,バイリンガルの監督が限られているにもかかわらず,多言語翻訳において有望な結果を示している。 大規模言語モデル(LLM)の最近の進歩は,バイリンガルの監督が限定された場合でも,多言語翻訳において有望な結果を示している。 LandeRMT は LLM を textbfMachine textbfTranslation に選択的に微調整するフレームワークである。
  論文  参考訳（メタデータ） (2024-09-29T02:39:42Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Communication Efficient Federated Learning for Multilingual Neural Machine Translation with Adapter [21.512817959760007]
  Federated Multilingual Neural Machine Translation (Fed-MNMT)は、限られた言語資源を持つ機関にとって有望なパラダイムとして登場した。 このアプローチにより、複数の機関がクライアントとして行動し、集中的なトレーニングのためにセンシティブなデータを収集するのではなく、モデル同期を通じて統一されたモデルをトレーニングできる。 しかし, 事前学習言語モデル (PLM) のサイズが大きくなるにつれ, 同期時のパラメータ伝達の通信コストは, 訓練速度のボトルネックとなっている。 PLMを凍結し,クライアント間でのみ軽量なアダプタモジュールを転送することで,この問題に対処する通信効率の高いFed-MNMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T12:48:38Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Training Mixed-Domain Translation Models via Federated Learning [16.71888086947849]
  本研究では,混合ドメイン翻訳モデルの学習課題に対処するために,フェデレートラーニング(FL)を活用する。 トレーニングプロセスのわずかな変更により、FLベースのアグリゲーションが異なるドメインを融合させる際に、ニューラルマシン変換(NMT)エンジンを容易に適用できる。 本稿では,FL更新時に影響のあるパラメータを選択し,通信帯域幅を動的に制御する手法を提案する。
  論文  参考訳（メタデータ） (2022-05-03T15:16:51Z)
• Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval [66.69799641522133]
  最先端のニューラルランカーは、お腹が空いていることで悪名高い。 現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
  論文  参考訳（メタデータ） (2022-04-05T15:44:27Z)
• Towards Reinforcement Learning for Pivot-based Neural Machine Translation with Non-autoregressive Transformer [49.897891031932545]
  Pivot-based Neural Machine Translation (NMT) は、低リソースのセットアップで一般的に使用される。 我々は、ソースターゲットデータのトレーニングを可能にするエンドツーエンドのピボットベース統合モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-27T14:49:35Z)
• Multi-task Learning for Multilingual Neural Machine Translation [32.81785430242313]
  本稿では,bitextデータ上での翻訳タスクと,モノリンガルデータ上での2つの認知タスクを併用してモデルを学習するマルチタスク学習フレームワークを提案する。 提案手法は,高リソース言語と低リソース言語の両方の翻訳品質を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2020-10-06T06:54:12Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)
• Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining [37.2106265998237]
  メタファインチューニング(MFT)と呼ばれる効果的な学習手法を提案する。 MFTは、ニューラルネットワークモデルのための同様のNLPタスクのグループを解決するためのメタラーナーとして機能する。 BERT 上で MFT を実装し,複数のマルチドメインテキストマイニングタスクを解決する。
  論文  参考訳（メタデータ） (2020-03-29T11:27:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。