Fugu-MT 論文翻訳(概要): Pre-Training and Personalized Fine-Tuning via Over-the-Air Federated Meta-Learning: Convergence-Generalization Trade-Offs

論文の概要: Pre-Training and Personalized Fine-Tuning via Over-the-Air Federated Meta-Learning: Convergence-Generalization Trade-Offs

arxiv url: http://arxiv.org/abs/2406.11569v3
Date: Mon, 16 Sep 2024 00:35:15 GMT
ステータス: 処理完了
システム内更新日: 2024-09-18 01:46:04.791806
Title: Pre-Training and Personalized Fine-Tuning via Over-the-Air Federated Meta-Learning: Convergence-Generalization Trade-Offs
Title（参考訳）: オーバー・ザ・エア・フェデレーション・メタラーニングによる事前学習とパーソナライズされたファインチューニング:収束・一般化貿易
Authors: Haifeng Wen, Hong Xing, Osvaldo Simeone,
Abstract要約: 本稿では、事前学習フェーズに参加するエージェントが共有無線チャンネルを介してサーバに接続される無線環境におけるメタpFLの一般化性能について検討する。本稿では,新しいエージェントとタスクへの一般化と,一方で収束のトレードオフについて検討する。
参考スコア（独自算出の注目度）: 33.306901198295016
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: For modern artificial intelligence (AI) applications such as large language models (LLMs), the training paradigm has recently shifted to pre-training followed by fine-tuning. Furthermore, owing to dwindling open repositories of data and thanks to efforts to democratize access to AI models, pre-training is expected to increasingly migrate from the current centralized deployments to federated learning (FL) implementations. Meta-learning provides a general framework in which pre-training and fine-tuning can be formalized. Meta-learning-based personalized FL (meta-pFL) moves beyond basic personalization by targeting generalization to new agents and tasks. This paper studies the generalization performance of meta-pFL for a wireless setting in which the agents participating in the pre-training phase, i.e., meta-learning, are connected via a shared wireless channel to the server. Adopting over-the-air computing, we study the trade-off between generalization to new agents and tasks, on the one hand, and convergence, on the other hand. The trade-off arises from the fact that channel impairments may enhance generalization, while degrading convergence. Extensive numerical results validate the theory.
Abstract（参考訳）: 大規模言語モデル(LLM)のような現代の人工知能(AI)アプリケーションでは、トレーニングパラダイムは、最近、事前トレーニングに移行し、微調整されている。さらに、データのオープンリポジトリの縮小や、AIモデルへのアクセスを民主化する努力のおかげで、事前トレーニングは、現在の集中型デプロイメントからフェデレートドラーニング(FL)実装への移行がますます進むことが期待されている。メタラーニングは、事前学習と微調整を形式化するための一般的なフレームワークを提供する。メタラーニングに基づくパーソナライズFL(meta-pFL)は、新しいエージェントやタスクへの一般化を目標にすることで、基本的なパーソナライズ以上のものとなる。本稿では、学習前段階(メタラーニング)に参加するエージェントが共有無線チャンネルを介してサーバに接続される無線環境におけるメタpFLの一般化性能について検討する。オーバー・ザ・エア・コンピューティングを採用することで,新しいエージェントやタスクへの一般化と,一方で収束のトレードオフについて検討する。このトレードオフは、チャネル障害が収束を低下させながら一般化を促進するという事実から生じる。膨大な数値が理論を検証している。

関連論文リスト

Federated Learning for Collaborative Inference Systems: The Case of Early Exit Networks [10.172776427016437]
協調推論システム(CIS)は、より小さなデバイスが推論タスクの一部をより有能なデバイスにオフロードできるようにすることによって、このパフォーマンストレードオフに対処する。我々のフレームワークは厳密な理論的保証を提供するだけでなく、CISの最先端(SOTA)トレーニングアルゴリズムを超越している。
論文参考訳（メタデータ） (2024-05-07T12:07:06Z)
Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文参考訳（メタデータ） (2023-07-12T16:28:21Z)
Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文参考訳（メタデータ） (2023-02-24T08:41:19Z)
Robust Meta-Representation Learning via Global Label Inference and Classification [42.81340522184904]
メタラベル学習(Meta Label Learning, MeLa)は,タスク間でグローバルラベルを推論することでタスク関係を学習するメタラーニングアルゴリズムである。 MeLaは、既存のメソッドをさまざまなベンチマークで上回り、特に、トレーニングタスクの数が制限され、ラベルがタスク固有であるような、より困難な設定でパフォーマンスします。
論文参考訳（メタデータ） (2022-12-22T13:46:47Z)
Conquering the Communication Constraints to Enable Large Pre-Trained Models in Federated Learning [18.12162136918301]
フェデレートラーニング(FL)は、ローカルデバイス上の生データに一元的にアクセスすることなく、モデルの協調的なトレーニングを可能にするための、有望なパラダイムとして登場した。最近の最先端の事前訓練モデルでは、より能力が高くなっているが、パラメータも増えている。 FLにおけるこれらの強力で容易に利用できる事前学習モデルが、通信負荷を同時に軽減しつつ優れた性能を達成するためのソリューションを見つけることができるだろうか? 具体的には,FedPEFTの性能を,クライアントの安定性,データ分散,プライバシ設定の違いによって体系的に評価する。
論文参考訳（メタデータ） (2022-10-04T16:08:54Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)
Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文参考訳（メタデータ） (2020-10-06T16:51:09Z)
Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
論文参考訳（メタデータ） (2020-08-03T02:24:20Z)
Continual Local Training for Better Initialization of Federated Models [14.289213162030816]
フェデレートラーニング(Federated Learning、FL)とは、機械学習モデルを分散システムで直接訓練する学習パラダイムである。一般的なFLアルゴリズムであるemphFederated Averaging (FedAvg)は重みのばらつきに悩まされている。本稿では,この問題に対処するための局所的な継続的トレーニング戦略を提案する。
論文参考訳（メタデータ） (2020-05-26T12:27:31Z)
Model-based Reinforcement Learning for Decentralized Multiagent Rendezvous [66.6895109554163]
目標を他のエージェントと整合させる人間の能力の下にあるのは、他人の意図を予測し、自分たちの計画を積極的に更新する能力である。分散型マルチエージェントレンデブーのためのモデルに基づく強化学習手法である階層型予測計画(HPP)を提案する。
論文参考訳（メタデータ） (2020-03-15T19:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。