Fugu-MT 論文翻訳(概要): Worldwide Federated Training of Language Models

論文の概要: Worldwide Federated Training of Language Models

arxiv url: http://arxiv.org/abs/2405.14446v1
Date: Thu, 23 May 2024 11:25:19 GMT
ステータス: 処理完了
システム内更新日: 2024-05-24 15:34:33.741039
Title: Worldwide Federated Training of Language Models
Title（参考訳）: 言語モデルの国際的フェデレーショントレーニング
Authors: Alex Iacob, Lorenzo Sani, Bill Marino, Preslav Aleksandrov, Nicholas Donald Lane,
Abstract要約: フェデレーションのフェデレーションに基づく世界規模のフェデレーション言語モデルトレーニング(Worldwide Federated Language Model Training, WorldLM)システムを提案する。我々はWorldLMが標準フェデレーションを最大1.91Times$で上回り、完全ローカルモデルのパーソナライズされたパフォーマンスにアプローチし、プライバシー強化技術の下でこれらのアドバンテージを維持することを示す。
参考スコア（独自算出の注目度）: 4.473527110431487
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The reliance of language model training on massive amounts of computation and vast datasets scraped from potentially low-quality, copyrighted, or sensitive data has come into question practically, legally, and ethically. Federated learning provides a plausible alternative by enabling previously untapped data to be voluntarily gathered from collaborating organizations. However, when scaled globally, federated learning requires collaboration across heterogeneous legal, security, and privacy regimes while accounting for the inherent locality of language data; this further exacerbates the established challenge of federated statistical heterogeneity. We propose a Worldwide Federated Language Model Training~(WorldLM) system based on federations of federations, where each federation has the autonomy to account for factors such as its industry, operating jurisdiction, or competitive environment. WorldLM enables such autonomy in the presence of statistical heterogeneity via partial model localization by allowing sub-federations to attentively aggregate key layers from their constituents. Furthermore, it can adaptively share information across federations via residual layer embeddings. Evaluations of language modeling on naturally heterogeneous datasets show that WorldLM outperforms standard federations by up to $1.91\times$, approaches the personalized performance of fully local models, and maintains these advantages under privacy-enhancing techniques.
Abstract（参考訳）: 言語モデルのトレーニングが大量の計算と、潜在的に低品質、著作権付き、または機密性の高いデータから取り除かれた膨大なデータセットに依存していることは、実用的、法的、倫理的に問題となっている。フェデレーテッド・ラーニングは、未解決のデータを自発的に協力組織から集めることによって、妥当な代替手段を提供する。しかし、グローバルにスケールする場合、フェデレートされた学習は、言語データの固有の局所性を考慮しながら、異質な法律、セキュリティ、プライバシの体制をまたいで協調する必要がある。我々は,各連盟が,その産業,運営権,競争環境などの要因を考慮に入れた自主性を有する,連合の連合に基づく世界規模の言語モデルトレーニング(Worldwide Federated Language Model Training~)システムを提案する。 WorldLMは、部分的なモデルローカライゼーションを通じて統計的不均一性の存在下で、サブフェデレーションがその構成要素からキー層を注意深く集約することで、そのような自律性を実現する。さらに、残層埋め込みを介して、フェデレーション間で情報を適応的に共有することができる。自然に異質なデータセット上での言語モデリングの評価は、WorldLMが標準フェデレーションを最大1.91\times$で上回り、完全なローカルモデルのパーソナライズされたパフォーマンスにアプローチし、これらの利点をプライバシー保護技術の下で維持していることを示している。

関連論文リスト

Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。 MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
論文参考訳（メタデータ） (2024-05-10T11:52:53Z)
FedLoGe: Joint Local and Generic Federated Learning under Long-tailed Data [46.29190753993415]
Federated Long-Tailed Learning (Fed-LT)は、分散化されたローカルクライアントから収集されたデータが、グローバルに普及しているロングテール分布を示すパラダイムである。本稿では、Fed-LT(FedLoGe)におけるFederated Local and Generic Model Training(FedLoGe)というアプローチを紹介し、ローカルモデルとジェネリックモデルの両方のパフォーマンスを向上させる。
論文参考訳（メタデータ） (2024-01-17T05:04:33Z)
Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth and Data Heterogeneity [14.313847382199059]
Fed-QSSL (Federated Quantization-based self-supervised learning scheme) はFLシステムの不均一性に対処するために設計された。 Fed-QSSLは、デ量子化、重み付けされたアグリゲーション、再量子化をデプロイし、最終的に、各クライアントのデバイスのデータ分散と特定のインフラストラクチャの両方にパーソナライズされたモデルを作成する。
論文参考訳（メタデータ） (2023-12-20T19:11:19Z)
Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文参考訳（メタデータ） (2023-11-12T11:01:10Z)
Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning [60.058083574671834]
本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。不均一な問題に対しては、無関係な公開データを通信に活用する。局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
論文参考訳（メタデータ） (2023-09-28T09:32:27Z)
Collaborative Chinese Text Recognition with Personalized Federated Learning [61.34060587461462]
中国語のテキスト認識では、ある組織が類似の組織から大量のデータを収集することがしばしば必要である。アドレスや電話番号などのテキストデータに個人情報が自然に存在するため、異なる組織はプライベートデータを共有したくない。中国語テキスト認識タスクにパーソナライズド・フェデレーション・ラーニング(pFL)を導入し,pFedCRアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-05-09T16:51:00Z)
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文参考訳（メタデータ） (2022-07-20T04:55:18Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
Preservation of the Global Knowledge by Not-True Self Knowledge Distillation in Federated Learning [8.474470736998136]
フェデレートラーニング(FL)では、強力なグローバルモデルが、クライアントのローカルにトレーニングされたモデルを集約することによって、協調的に学習される。偏りのある地域分布への適応は、その特徴をグローバルな分布にシフトさせ、グローバルな知識を忘れる結果をもたらすことを観察する。本稿では, ローカルデータに対するグローバルな知識を活用した, 簡便かつ効果的なフェデレートローカル自己蒸留(FedLSD)フレームワークを提案する。
論文参考訳（メタデータ） (2021-06-06T11:51:47Z)
FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
論文参考訳（メタデータ） (2021-01-27T10:10:18Z)
Federated Learning of a Mixture of Global and Local Models [10.279748604797911]
本稿では,フェデレート学習モデルのトレーニングのための新しい最適化形式を提案する。局所的なステップは異種データの問題に対するコミュニケーションを改善することができることを示す。特に,i) 局所的なステップが異種データの問題に対するコミュニケーションを改善することを示し,i) パーソナライゼーションが通信複雑性の低減をもたらすことを指摘した。
論文参考訳（メタデータ） (2020-02-10T09:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。