Fugu-MT 論文翻訳(概要): Personalized Federated Learning with Contextual Modulation and Meta-Learning

論文の概要: Personalized Federated Learning with Contextual Modulation and Meta-Learning

arxiv url: http://arxiv.org/abs/2312.15191v1
Date: Sat, 23 Dec 2023 08:18:22 GMT
ステータス: 処理完了
システム内更新日: 2023-12-27 19:10:46.460180
Title: Personalized Federated Learning with Contextual Modulation and Meta-Learning
Title（参考訳）: 文脈変調とメタ学習による個人化フェデレーション学習
Authors: Anna Vettoruzzo, Mohamed-Rafik Bouguelia, Thorsteinn R\"ognvaldsson
Abstract要約: フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
参考スコア（独自算出の注目度）: 2.7716102039510564
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning has emerged as a promising approach for training machine learning models on decentralized data sources while preserving data privacy. However, challenges such as communication bottlenecks, heterogeneity of client devices, and non-i.i.d. data distribution pose significant obstacles to achieving optimal model performance. We propose a novel framework that combines federated learning with meta-learning techniques to enhance both efficiency and generalization capabilities. Our approach introduces a federated modulator that learns contextual information from data batches and uses this knowledge to generate modulation parameters. These parameters dynamically adjust the activations of a base model, which operates using a MAML-based approach for model personalization. Experimental results across diverse datasets highlight the improvements in convergence speed and model performance compared to existing federated learning approaches. These findings highlight the potential of incorporating contextual information and meta-learning techniques into federated learning, paving the way for advancements in distributed machine learning paradigms.
Abstract（参考訳）: フェデレーション学習は、データプライバシを保持しながら、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。しかし、通信ボトルネック、クライアントデバイスの不均一性、非単位データ分散といった課題は、最適なモデル性能を達成する上で大きな障害となる。本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。提案手法では,データバッチからコンテキスト情報を学習し,この知識を用いて変調パラメータを生成する。これらのパラメータは、モデルパーソナライズのためのMAMLベースのアプローチを用いて機能するベースモデルのアクティベーションを動的に調整する。多様なデータセットにわたる実験結果は、既存のフェデレーション学習アプローチと比較して収束速度とモデル性能の改善を強調している。これらの知見は、コンテキスト情報とメタ学習技術を連合学習に組み込む可能性を強調し、分散機械学習パラダイムの進歩への道を開く。

関連論文リスト

Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning [5.421492821020181]
Federated Learning(FL)は、デバイスがローカルデータを共有せずにモデルを協調的にトレーニングできる分散機械学習アプローチである。 FLを実世界のデータに適用することは、特に既存のFL研究が不正なデータに焦点を当てているため、課題を提示している。我々は,各モードエンコーダのトレーニングリソースを適応的に割り当てることで,MFLにおける計算効率を向上させる新しい手法FlexModを提案する。
論文参考訳（メタデータ） (2024-08-13T01:14:27Z)
Promoting Data and Model Privacy in Federated Learning through Quantized LoRA [41.81020951061438]
トレーニング中にモデルのパラメータの量子化されたバージョンを配布するだけでよい方法を紹介します。我々は、この量子化戦略を、人気かつパラメータ効率の良い微調整法であるLoRAと組み合わせて、フェデレート学習における通信コストを大幅に削減する。提案したフレームワークはtextscFedLPP と呼ばれ、フェデレートされた学習コンテキストにおけるデータとモデルのプライバシの両立を実現している。
論文参考訳（メタデータ） (2024-06-16T15:23:07Z)
Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
論文参考訳（メタデータ） (2024-03-18T08:00:23Z)
Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文参考訳（メタデータ） (2024-02-28T08:34:23Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文参考訳（メタデータ） (2022-12-19T20:46:43Z)
Meta Knowledge Condensation for Federated Learning [65.20774786251683]
既存のフェデレートされた学習パラダイムは通常、より強力なモデルを達成するために、中央の解決器で分散モデルを広範囲に交換する。これにより、特にデータ分散が不均一である場合、サーバと複数のクライアントの間で深刻な通信負荷が発生します。既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。
論文参考訳（メタデータ） (2022-09-29T15:07:37Z)
Heterogeneous Ensemble Knowledge Transfer for Training Large Models in Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文参考訳（メタデータ） (2022-04-27T05:18:32Z)
A Personalized Federated Learning Algorithm: an Application in Anomaly Detection [0.6700873164609007]
フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。 FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
論文参考訳（メタデータ） (2021-11-04T04:57:11Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。