論文の概要: Rethinking the Starting Point: Enhancing Performance and Fairness of
Federated Learning via Collaborative Pre-Training
- arxiv url: http://arxiv.org/abs/2402.02225v1
- Date: Sat, 3 Feb 2024 17:58:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 21:15:09.697953
- Title: Rethinking the Starting Point: Enhancing Performance and Fairness of
Federated Learning via Collaborative Pre-Training
- Title(参考訳): 出発点再考:協調事前学習による連合学習のパフォーマンスと公平性の向上
- Authors: Yun-Wei Chu, Dong-Jun Han, Seyyedali Hosseinalipour, Christopher G.
Brinton
- Abstract要約: 本稿では,コラボレーティブな事前学習手法であるCoPreFLを提案する。
我々の事前学習アルゴリズムのキーとなるアイデアは、下流の分散シナリオを模倣し、予期せぬFLタスクに適応できるメタラーニング手順である。
- 参考スコア(独自算出の注目度): 23.861193752503418
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most existing federated learning (FL) methodologies have assumed training
begins from a randomly initialized model. Recently, several studies have
empirically demonstrated that leveraging a pre-trained model can offer
advantageous initializations for FL. In this paper, we propose a collaborative
pre-training approach, CoPreFL, which strategically designs a pre-trained model
to serve as a good initialization for any downstream FL task. The key idea of
our pre-training algorithm is a meta-learning procedure which mimics downstream
distributed scenarios, enabling it to adapt to any unforeseen FL task.
CoPreFL's pre-training optimization procedure also strikes a balance between
average performance and fairness, with the aim of addressing these competing
challenges in downstream FL tasks through intelligent initializations.
Extensive experimental results validate that our pre-training method provides a
robust initialization for any unseen downstream FL task, resulting in enhanced
average performance and more equitable predictions.
- Abstract(参考訳): 既存のフェデレートラーニング(FL)手法の多くは、ランダムに初期化したモデルから訓練を開始すると仮定している。
近年,事前学習モデルの活用がFLに有利な初期化をもたらすことが実証されている。
本稿では,下流のflタスクにおいて適切な初期化を行うための事前学習モデルとして戦略的に設計する,共同事前学習手法であるcopreflを提案する。
我々の事前学習アルゴリズムの重要なアイデアは、下流の分散シナリオを模倣し、予期せぬflタスクに適応できるメタラーニング手順です。
CoPreFLの事前学習最適化手順は、知的初期化を通じて下流FLタスクにおけるこれらの競合する課題に対処することを目的として、平均性能と公平性のバランスを取る。
広範な実験結果から,本手法は下流のflタスクに対してロバストな初期化を提供し,その結果,平均性能が向上し,より公平な予測が可能となった。
関連論文リスト
- The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [60.52921835351632]
本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。
特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。
コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
論文 参考訳(メタデータ) (2024-04-01T16:00:01Z) - Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳(メタデータ) (2024-02-22T04:10:57Z) - Pre-Training and Fine-Tuning Generative Flow Networks [61.90529626590415]
本稿では,GFlowNetの報酬なし事前学習のための新しいアプローチを提案する。
自己指導型問題としてトレーニングをフレーミングすることで,候補空間の探索を学習する結果条件付きGFlowNetを提案する。
事前学習したOC-GFNモデルにより、下流タスクにおける新しい報酬関数をサンプリングできるポリシーを直接抽出できることを示す。
論文 参考訳(メタデータ) (2023-10-05T09:53:22Z) - Importance of Smoothness Induced by Optimizers in FL4ASR: Towards
Understanding Federated Learning for End-to-End ASR [12.108696564200052]
フェデレートラーニング(FL)を用いたエンドツーエンド自動音声認識(ASR)モデルの訓練から始める。
FLを用いて訓練したモデルと,その集中型モデルとの単語誤り率の観点から,性能ギャップを最小化する上で重要な基本的考察について検討する。
論文 参考訳(メタデータ) (2023-09-22T17:23:01Z) - Guiding The Last Layer in Federated Learning with Pre-Trained Models [18.382057374270143]
フェデレートラーニング(FL)は、データを共有することなく、多数の参加者にまたがってモデルをトレーニングできる新興パラダイムである。
NCM(Nearest Class Means)を用いた分類ヘッドの適合は,既存の提案よりも正確に,桁違いに効率的に行えることを示す。
論文 参考訳(メタデータ) (2023-06-06T18:02:02Z) - CoopInit: Initializing Generative Adversarial Networks via Cooperative
Learning [50.90384817689249]
CoopInitは、協力的な学習ベースの戦略で、GANにとって良い出発点を素早く学べる。
本稿では,画像生成における提案手法の有効性を示す。
論文 参考訳(メタデータ) (2023-03-21T07:49:32Z) - CyclicFL: A Cyclic Model Pre-Training Approach to Efficient Federated
Learning [22.572538934701114]
フェデレートラーニング(FL)におけるランダム初期モデルは、不規則なグラディエント・Descent(SGD)プロセスをもたらす。
本稿では,SGDプロセスの導出に有効な初期モデルを迅速に導出できるCyclicFLという新しいFL法を提案する。
その結果,CyclicFLは分類精度を最大16.21%向上させるだけでなく,全体のFLトレーニングプロセスを著しく向上させることができることがわかった。
論文 参考訳(メタデータ) (2023-01-28T13:28:34Z) - Towards All-in-one Pre-training via Maximizing Multi-modal Mutual
Information [77.80071279597665]
マルチモーダル相互情報事前学習(M3I事前学習)を最大化するオールインワン単段階事前学習手法を提案する。
提案手法は,ImageNet分類,オブジェクト検出,LVIS長鎖オブジェクト検出,ADE20kセマンティックセマンティックセマンティックセマンティクスなど,様々なビジョンベンチマークにおける事前学習手法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2022-11-17T18:59:49Z) - On the Importance and Applicability of Pre-Training for Federated
Learning [28.238484580662785]
我々は,連合学習のための事前学習を体系的に研究する。
事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。
本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
論文 参考訳(メタデータ) (2022-06-23T06:02:33Z) - Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less
Forgetting [66.45372974713189]
本稿では,マルチタスク学習の概念を取り入れたリコール・アンド・ラーニング機構を提案し,事前学習タスクと下流タスクを共同で学習する。
実験により,本手法はGLUEベンチマークの最先端性能を実現することが示された。
我々はオープンソースのRecAdamを提供し、提案されたメカニズムをAdamに統合し、NLPコミュニティを施設化する。
論文 参考訳(メタデータ) (2020-04-27T08:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。