論文の概要: Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning

• arxiv url: http://arxiv.org/abs/2106.06047v1
• Date: Thu, 10 Jun 2021 21:04:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-14 14:27:55.954017
• Title: Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning
• Title（参考訳）: フェデレーション学習におけるデータ不均一性に取り組むためのアーキテクチャ設計再考
• Authors: Liangqiong Qu, Yuyin Zhou, Paul Pu Liang, Yingda Xia, Feifei Wang, Li Fei-Fei, Ehsan Adeli, Daniel Rubin
• Abstract要約: 注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。 我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
• 参考スコア（独自算出の注目度）: 53.73083199055093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is an emerging research paradigm enabling collaborative training of machine learning models among different organizations while keeping data private at each institution. Despite recent progress, there remain fundamental challenges such as lack of convergence and potential for catastrophic forgetting in federated learning across real-world heterogeneous devices. In this paper, we demonstrate that attention-based architectures (e.g., Transformers) are fairly robust to distribution shifts and hence improve federated learning over heterogeneous data. Concretely, we conduct the first rigorous empirical investigation of different neural architectures across a range of federated algorithms, real-world benchmarks, and heterogeneous data splits. Our experiments show that simply replacing convolutional networks with Transformers can greatly reduce catastrophic forgetting of previous devices, accelerate convergence, and reach a better global model, especially when dealing with heterogeneous data. We will release our code and pretrained models at https://github.com/Liangqiong/ViT-FL-main to encourage future exploration in robust architectures as an alternative to current research efforts on the optimization front.
• Abstract（参考訳）: フェデレーテッド・ラーニング(Federated Learning)は、さまざまな組織間で機械学習モデルの協調トレーニングを可能にしつつ、各機関でデータを非公開にする、新たな研究パラダイムである。 近年の進歩にもかかわらず、収束の欠如や、現実世界の異種デバイス間での連合学習における破滅的な忘れ込みの可能性といった根本的な課題が残っている。 本稿では,注意に基づくアーキテクチャ(例えばトランスフォーマー)が分散シフトに対してかなり頑健であることを示し,ヘテロジニアスデータに対するフェデレーション学習を改善する。 具体的には,フェデレーションアルゴリズムや実世界のベンチマーク,異種データ分割など,さまざまなニューラルネットワークアーキテクチャに関する最初の厳密な実証調査を行う。 実験により, 畳み込みネットワークをトランスフォーマーに置き換えれば, 従来装置の悲惨な忘れを著しく減らし, 収束を加速し, 特に異種データを扱う場合, より優れたグローバルモデルに到達できることが示された。 私たちはコードと事前トレーニング済みモデルをhttps://github.com/liangqiong/vit-fl-mainでリリースし、現在の最適化に関する研究の代替として、ロバストアーキテクチャの将来的な調査を奨励します。

関連論文リスト

• Heterogeneous Federated Learning with Splited Language Model [22.65325348176366]
  フェデレート・スプリット・ラーニング(FSL)は、実際には有望な分散学習パラダイムである。 本稿では,前訓練画像変換器(PIT)をFedVと呼ばれる初期モデルとして利用し,トレーニングプロセスの高速化とモデルロバスト性の向上を図る。 我々は、実世界のデータセット、異なる部分的デバイス参加、異種データ分割におけるPITを用いたFSL手法の体系的評価を初めて行った。
  論文  参考訳（メタデータ） (2024-03-24T07:33:08Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• FedConv: Enhancing Convolutional Neural Networks for Handling Data Heterogeneity in Federated Learning [34.37155882617201]
  フェデレーション・ラーニング(FL)は機械学習における新たなパラダイムであり、共有モデルは複数のデバイスからのデータを使って協調的に学習される。 活性化関数や正規化層などの異なるアーキテクチャ要素が異種FLの性能に与える影響を系統的に検討する。 以上の結果から,戦略的アーキテクチャ変更により,純粋なCNNは,VTと一致するか,あるいは超えるようなロバスト性を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-06T17:57:50Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Real-time Federated Evolutionary Neural Architecture Search [14.099753950531456]
  フェデレーション学習(Federated Learning)は、プライバシ保護のための分散機械学習アプローチである。 本稿では、モデル性能を最適化するだけでなく、局所的なペイロードを削減するリアルタイムフェデレーションニューラルネットワーク探索への進化的アプローチを提案する。 このようにして、進化的最適化に必要な計算・通信コストを効果的に削減し、局所モデルの大きな性能変動を回避する。
  論文  参考訳（メタデータ） (2020-03-04T17:03:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。