論文の概要: Rethinking the Starting Point: Enhancing Performance and Fairness of Federated Learning via Collaborative Pre-Training

• arxiv url: http://arxiv.org/abs/2402.02225v1
• Date: Sat, 3 Feb 2024 17:58:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 21:15:09.697953
• Title: Rethinking the Starting Point: Enhancing Performance and Fairness of Federated Learning via Collaborative Pre-Training
• Title（参考訳）: 出発点再考:協調事前学習による連合学習のパフォーマンスと公平性の向上
• Authors: Yun-Wei Chu, Dong-Jun Han, Seyyedali Hosseinalipour, Christopher G. Brinton
• Abstract要約: 本稿では,コラボレーティブな事前学習手法であるCoPreFLを提案する。 我々の事前学習アルゴリズムのキーとなるアイデアは、下流の分散シナリオを模倣し、予期せぬFLタスクに適応できるメタラーニング手順である。
• 参考スコア（独自算出の注目度）: 23.861193752503418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most existing federated learning (FL) methodologies have assumed training begins from a randomly initialized model. Recently, several studies have empirically demonstrated that leveraging a pre-trained model can offer advantageous initializations for FL. In this paper, we propose a collaborative pre-training approach, CoPreFL, which strategically designs a pre-trained model to serve as a good initialization for any downstream FL task. The key idea of our pre-training algorithm is a meta-learning procedure which mimics downstream distributed scenarios, enabling it to adapt to any unforeseen FL task. CoPreFL's pre-training optimization procedure also strikes a balance between average performance and fairness, with the aim of addressing these competing challenges in downstream FL tasks through intelligent initializations. Extensive experimental results validate that our pre-training method provides a robust initialization for any unseen downstream FL task, resulting in enhanced average performance and more equitable predictions.
• Abstract（参考訳）: 既存のフェデレートラーニング(FL)手法の多くは、ランダムに初期化したモデルから訓練を開始すると仮定している。 近年,事前学習モデルの活用がFLに有利な初期化をもたらすことが実証されている。 本稿では,下流のflタスクにおいて適切な初期化を行うための事前学習モデルとして戦略的に設計する,共同事前学習手法であるcopreflを提案する。 我々の事前学習アルゴリズムの重要なアイデアは、下流の分散シナリオを模倣し、予期せぬflタスクに適応できるメタラーニング手順です。 CoPreFLの事前学習最適化手順は、知的初期化を通じて下流FLタスクにおけるこれらの競合する課題に対処することを目的として、平均性能と公平性のバランスを取る。 広範な実験結果から,本手法は下流のflタスクに対してロバストな初期化を提供し,その結果,平均性能が向上し,より公平な予測が可能となった。

関連論文リスト

• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能評価のためのより効率的な指標として、事前学習損失に焦点を当てている。 我々は、データソース間のFLOPに基づいて、ドメイン固有の事前学習損失を予測するために、電力法解析関数を拡張した。 我々は2層ニューラルネットワークを用いて、複数のドメイン固有の損失と下流性能の非線形関係をモデル化する。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
  本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。 我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。 実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-07-23T11:35:42Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Importance of Smoothness Induced by Optimizers in FL4ASR: Towards Understanding Federated Learning for End-to-End ASR [12.108696564200052]
  フェデレートラーニング(FL)を用いたエンドツーエンド自動音声認識(ASR)モデルの訓練から始める。 FLを用いて訓練したモデルと,その集中型モデルとの単語誤り率の観点から,性能ギャップを最小化する上で重要な基本的考察について検討する。
  論文  参考訳（メタデータ） (2023-09-22T17:23:01Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Critical Learning Periods in Federated Learning [11.138980572551066]
  フェデレートラーニング(FL)は、機械学習(ML)モデルを分散データでトレーニングする一般的なテクニックである。 FLの最終試験精度は,トレーニングプロセスの初期段階に大きく影響していることがわかった。
  論文  参考訳（メタデータ） (2021-09-12T21:06:07Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。