論文の概要: Rethinking the Starting Point: Enhancing Performance and Fairness of Federated Learning via Collaborative Pre-Training

• arxiv url: http://arxiv.org/abs/2402.02225v1
• Date: Sat, 3 Feb 2024 17:58:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 21:15:09.697953
• Title: Rethinking the Starting Point: Enhancing Performance and Fairness of Federated Learning via Collaborative Pre-Training
• Title（参考訳）: 出発点再考:協調事前学習による連合学習のパフォーマンスと公平性の向上
• Authors: Yun-Wei Chu, Dong-Jun Han, Seyyedali Hosseinalipour, Christopher G. Brinton
• Abstract要約: 本稿では,コラボレーティブな事前学習手法であるCoPreFLを提案する。 我々の事前学習アルゴリズムのキーとなるアイデアは、下流の分散シナリオを模倣し、予期せぬFLタスクに適応できるメタラーニング手順である。
• 参考スコア（独自算出の注目度）: 23.861193752503418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most existing federated learning (FL) methodologies have assumed training begins from a randomly initialized model. Recently, several studies have empirically demonstrated that leveraging a pre-trained model can offer advantageous initializations for FL. In this paper, we propose a collaborative pre-training approach, CoPreFL, which strategically designs a pre-trained model to serve as a good initialization for any downstream FL task. The key idea of our pre-training algorithm is a meta-learning procedure which mimics downstream distributed scenarios, enabling it to adapt to any unforeseen FL task. CoPreFL's pre-training optimization procedure also strikes a balance between average performance and fairness, with the aim of addressing these competing challenges in downstream FL tasks through intelligent initializations. Extensive experimental results validate that our pre-training method provides a robust initialization for any unseen downstream FL task, resulting in enhanced average performance and more equitable predictions.
• Abstract（参考訳）: 既存のフェデレートラーニング(FL)手法の多くは、ランダムに初期化したモデルから訓練を開始すると仮定している。 近年,事前学習モデルの活用がFLに有利な初期化をもたらすことが実証されている。 本稿では,下流のflタスクにおいて適切な初期化を行うための事前学習モデルとして戦略的に設計する,共同事前学習手法であるcopreflを提案する。 我々の事前学習アルゴリズムの重要なアイデアは、下流の分散シナリオを模倣し、予期せぬflタスクに適応できるメタラーニング手順です。 CoPreFLの事前学習最適化手順は、知的初期化を通じて下流FLタスクにおけるこれらの競合する課題に対処することを目的として、平均性能と公平性のバランスを取る。 広範な実験結果から,本手法は下流のflタスクに対してロバストな初期化を提供し,その結果,平均性能が向上し,より公平な予測が可能となった。

関連論文リスト

• Feasible Learning [78.6167929413604]
  本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。 大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
  論文  参考訳（メタデータ） (2025-01-24T20:39:38Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能評価のためのより効率的な指標として、事前学習損失に焦点を当てている。 我々は、データソース間のFLOPに基づいて、ドメイン固有の事前学習損失を予測するために、電力法解析関数を拡張した。 我々は2層ニューラルネットワークを用いて、複数のドメイン固有の損失と下流性能の非線形関係をモデル化する。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
  本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。 我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。 実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-07-23T11:35:42Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Importance of Smoothness Induced by Optimizers in FL4ASR: Towards Understanding Federated Learning for End-to-End ASR [12.108696564200052]
  フェデレートラーニング(FL)を用いたエンドツーエンド自動音声認識(ASR)モデルの訓練から始める。 FLを用いて訓練したモデルと,その集中型モデルとの単語誤り率の観点から,性能ギャップを最小化する上で重要な基本的考察について検討する。
  論文  参考訳（メタデータ） (2023-09-22T17:23:01Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。