論文の概要: FedBABU: Towards Enhanced Representation for Federated Image Classification

• arxiv url: http://arxiv.org/abs/2106.06042v1
• Date: Fri, 4 Jun 2021 04:34:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-20 16:07:31.855318
• Title: FedBABU: Towards Enhanced Representation for Federated Image Classification
• Title（参考訳）: fedbabu:federated image classificationの強化に向けて
• Authors: Jaehoon Oh, Sangmook Kim, Se-Young Yun
• Abstract要約: 本稿では,フェデレートトレーニング中のモデルのみを更新するフェデレーション学習アルゴリズムを提案する。 実験では、一貫した性能改善とフェドバブの効率的なパーソナライズが示されている。
• 参考スコア（独自算出の注目度）: 9.52445584039925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning has evolved to improve a single global model under data heterogeneity (as a curse) or to develop multiple personalized models using data heterogeneity (as a blessing). However, there has been little research considering both directions simultaneously. In this paper, we first investigate the relationship between them by analyzing Federated Averaging at the client level and determine that a better federated global model performance does not constantly improve personalization. To elucidate the cause of this personalization performance degradation problem, we decompose the entire network into the body (i.e., extractor), related to universality, and the head (i.e., classifier), related to personalization. We then point out that this problem stems from training the head. Based on this observation, we propose a novel federated learning algorithm, coined as FedBABU, which updates only the body of the model during federated training (i.e., the head is randomly initialized and never updated), and the head is fine-tuned for personalization during the evaluation process. Extensive experiments show consistent performance improvements and an efficient personalization of FedBABU.
• Abstract（参考訳）: フェデレートラーニングは、(呪いとして)データ不均一性の下で単一のグローバルモデルを改善するために進化し、(祝福として)データ不均一性を使用して複数のパーソナライズされたモデルを開発するために進化した。 しかし、両方向を同時に検討する研究はほとんどない。 本稿では、まず、クライアントレベルでのフェデレーション平均化を分析し、より優れたフェデレーションされたグローバルモデル性能がパーソナライゼーションを常に改善しないことを示す。 このパーソナライズ性能低下問題の原因を明らかにするために、ネットワーク全体を普遍性に関連する体(抽出器)とパーソナライズに関連する頭部(分類器)に分解する。 そして、この問題は頭を訓練することに由来すると指摘する。 本研究は,フェデレーテッドトレーニング中のモデルの身体のみを更新するフェデレーテッド学習アルゴリズムを提案する(つまり,頭部はランダムに初期化され,更新されない)。 大規模な実験では、一貫した性能向上とFedBABUの効率的なパーソナライゼーションが示されている。

関連論文リスト

• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Iterative Data Smoothing: Mitigating Reward Overfitting and Overoptimization in RLHF [79.98542868281471]
  強化学習(Reinforcement Learning from Human Feedback, RLHF)は、言語モデルを人間中心の値と密接に整合させる手法である。 学習した報奨モデルに対して過度に最適化すると、最終的には真の目的が損なわれることが観察された。 本稿では、これらの問題を考察し、「Iterative Data Smoothing」(IDS)と呼ばれる改良された報酬学習アルゴリズムの設計に理論的知見を活用する。
  論文  参考訳（メタデータ） (2024-01-29T17:43:42Z)
• Dirichlet-based Uncertainty Quantification for Personalized Federated Learning with Improved Posterior Networks [9.54563359677778]
  本稿では,グローバルおよびパーソナライズされたモデルの中からモデルを選択可能なフェデレーション学習への新たなアプローチを提案する。 これは、局所的およびグローバルな分布内および分布外データを検出するのに役立つ予測不確実性の慎重なモデリングによって達成される。 一般的な実世界の画像データセットに対する総合的な実験的評価は、アウト・オブ・ディストリビューション・データの存在下でのモデルの優れた性能を示している。
  論文  参考訳（メタデータ） (2023-12-18T14:30:05Z)
• Towards Personalized Federated Learning via Heterogeneous Model Reassembly [84.44268421053043]
  pFedHRは、異種モデルの再組み立てを利用して、パーソナライズされたフェデレーション学習を実現するフレームワークである。 pFedHRは、動的に多様なパーソナライズされたモデルを自動生成する。
  論文  参考訳（メタデータ） (2023-08-16T19:36:01Z)
• Federated Variational Inference: Towards Improved Personalization and Generalization [2.37589914835055]
  我々は、ステートレスなクロスデバイス・フェデレーション学習環境におけるパーソナライズと一般化について研究する。 まず階層的生成モデルを提案し,ベイズ推論を用いて定式化する。 次に、変分推論を用いてこの過程を近似し、モデルを効率的に訓練する。 我々は,FEMNISTとCIFAR-100画像分類のモデルを評価し,FedVIが両タスクの最先端性に勝っていることを示す。
  論文  参考訳（メタデータ） (2023-05-23T04:28:07Z)
• Exploiting Personalized Invariance for Better Out-of-distribution Generalization in Federated Learning [13.246981646250518]
  本稿では, 個人化学習手法と比較して, 個人化非分散を探索する汎用的な二重正規化学習フレームワークを提案する。 本手法は,既存のフェデレーション学習や不変学習よりも,多様なアウト・オブ・ディストリビューションおよび非IIDデータケースにおいて優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-21T08:17:03Z)
• PersA-FL: Personalized Asynchronous Federated Learning [1.1838866556981258]
  非同期更新下での個人化学習問題について検討する。 この問題では、各クライアントは、ローカルモデルとグローバルモデルとを同時に上回るパーソナライズされたモデルを求めます。 パーソナライズのための最適化ベースのフレームワークを2つ検討する。
  論文  参考訳（メタデータ） (2022-10-03T18:44:28Z)
• Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
  注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。 我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
  論文  参考訳（メタデータ） (2021-06-10T21:04:18Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。