論文の概要: Handling Data Heterogeneity via Architectural Design for Federated Visual Recognition

• arxiv url: http://arxiv.org/abs/2310.15165v1
• Date: Mon, 23 Oct 2023 17:59:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 17:56:14.666202
• Title: Handling Data Heterogeneity via Architectural Design for Federated Visual Recognition
• Title（参考訳）: フェデレーション視覚認識のためのアーキテクチャ設計によるデータ不均一性処理
• Authors: Sara Pieri, Jose Renato Restom, Samuel Horvath, Hisham Cholakkal
• Abstract要約: 4つのFLデータセットを用いて、5つの異なるアーキテクチャファミリからの19の視覚認識モデルについて検討する。 本研究は,現実的なシナリオにおけるコンピュータビジョンタスクにおけるアーキテクチャ設計の重要性を強調した。
• 参考スコア（独自算出の注目度）: 16.50490537786593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is a promising research paradigm that enables the collaborative training of machine learning models among various parties without the need for sensitive information exchange. Nonetheless, retaining data in individual clients introduces fundamental challenges to achieving performance on par with centrally trained models. Our study provides an extensive review of federated learning applied to visual recognition. It underscores the critical role of thoughtful architectural design choices in achieving optimal performance, a factor often neglected in the FL literature. Many existing FL solutions are tested on shallow or simple networks, which may not accurately reflect real-world applications. This practice restricts the transferability of research findings to large-scale visual recognition models. Through an in-depth analysis of diverse cutting-edge architectures such as convolutional neural networks, transformers, and MLP-mixers, we experimentally demonstrate that architectural choices can substantially enhance FL systems' performance, particularly when handling heterogeneous data. We study 19 visual recognition models from five different architectural families on four challenging FL datasets. We also re-investigate the inferior performance of convolution-based architectures in the FL setting and analyze the influence of normalization layers on the FL performance. Our findings emphasize the importance of architectural design for computer vision tasks in practical scenarios, effectively narrowing the performance gap between federated and centralized learning. Our source code is available at https://github.com/sarapieri/fed_het.git.
• Abstract（参考訳）: フェデレートラーニング(FL)は、機密情報交換を必要とせずに、さまざまなパーティ間で機械学習モデルの協調トレーニングを可能にする有望な研究パラダイムである。 それにもかかわらず、個々のクライアントにデータを保持することは、集中的に訓練されたモデルと同等のパフォーマンスを達成するための根本的な課題をもたらす。 本研究は,視覚認識に適用した連合学習の広範なレビューを提供する。 これは、FL文学において無視される要因である最適なパフォーマンスを達成する上で、思慮深いアーキテクチャ設計選択の重要な役割を強調している。 多くの既存のFLソリューションは浅いネットワークや単純なネットワークでテストされており、現実世界のアプリケーションを正確に反映していない。 このプラクティスは、大規模な視覚認識モデルへの研究結果の転送可能性を制限する。 畳み込みニューラルネットワーク、トランスフォーマー、mlpミキサーなどの多様な最先端アーキテクチャの詳細な分析を通じて、特に異種データを扱う場合において、アーキテクチャの選択がflシステムの性能を著しく向上できることを実験的に証明した。 4つのFLデータセットを用いて、5つの異なる建築家族の視覚認識モデルについて検討した。 また、FL設定における畳み込みに基づくアーキテクチャの劣る性能を再検討し、FL性能に対する正規化層の影響を分析する。 本研究は,コンピュータビジョンタスクの実践シナリオにおけるアーキテクチャ設計の重要性を強調し,フェデレーションと集中型学習のパフォーマンスギャップを効果的に狭めるものである。 ソースコードはhttps://github.com/sarapieri/fed_het.gitで入手できます。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• FedConv: Enhancing Convolutional Neural Networks for Handling Data Heterogeneity in Federated Learning [34.37155882617201]
  フェデレーション・ラーニング(FL)は機械学習における新たなパラダイムであり、共有モデルは複数のデバイスからのデータを使って協調的に学習される。 活性化関数や正規化層などの異なるアーキテクチャ要素が異種FLの性能に与える影響を系統的に検討する。 以上の結果から,戦略的アーキテクチャ変更により,純粋なCNNは,VTと一致するか,あるいは超えるようなロバスト性を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-06T17:57:50Z)
• FS-Real: Towards Real-World Cross-Device Federated Learning [60.91678132132229]
  Federated Learning (FL)は、ローカルデータをアップロードすることなく、分散クライアントと協調して高品質なモデルをトレーニングすることを目的としている。 FL研究と実世界のシナリオの間には依然としてかなりのギャップがあり、主に異種デバイスの特徴とそのスケールによって引き起こされている。 本稿では,実世界横断デバイスFL,FS-Realのための効率的でスケーラブルなプロトタイピングシステムを提案する。
  論文  参考訳（メタデータ） (2023-03-23T15:37:17Z)
• FedCV: A Federated Learning Framework for Diverse Computer Vision Tasks [38.012182901565616]
  Federated Learning(FL)は、エッジデバイス上の分散データセットからグローバルあるいはパーソナライズされたモデルを学ぶことのできる、分散学習パラダイムである。 FLは、オブジェクト検出やイメージセグメンテーションといった高度なコンピュータビジョンタスクにおいて、効果的に実証されることはめったにない。 非I.D.ベンチマークデータセット、モデル、および様々な参照FLアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-11-22T09:26:08Z)
• Mobility-Aware Cluster Federated Learning in Hierarchical Wireless Networks [81.83990083088345]
  我々は,無線ネットワークにおける階層型フェデレーション学習(HFL)アルゴリズムを特徴付ける理論モデルを開発した。 分析の結果,HFLの学習性能は,ハイモービル利用者の学習能力が著しく低下していることが判明した。 これらの問題を回避するため,我々はMACFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-20T10:46:58Z)
• Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
  注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。 我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
  論文  参考訳（メタデータ） (2021-06-10T21:04:18Z)
• FedScale: Benchmarking Model and System Performance of Federated Learning [4.1617240682257925]
  FedScaleは、連邦学習(FL)研究のための、挑戦的で現実的なベンチマークデータセットのセットである。 FedScaleはオープンソースで、寛容なライセンスを持ち、積極的にメンテナンスされている。
  論文  参考訳（メタデータ） (2021-05-24T15:55:27Z)
• Multi-Perspective LSTM for Joint Visual Representation Learning [81.21490913108835]
  複数の視点から捉えた視覚的シーケンスで利用可能な内的および対外的関係を学習できる新しいLSTM細胞アーキテクチャを提案する。 私たちのアーキテクチャは、細胞レベルで追加のゲートと記憶を使用する新しい繰り返し共同学習戦略を採用しています。 提案するセルを用いてネットワークを構築することにより、より効果的でリッチな視覚的表現が認識タスクで学習されることを示す。
  論文  参考訳（メタデータ） (2021-05-06T16:44:40Z)
• On the Impact of Device and Behavioral Heterogeneity in Federated Learning [5.038980064083677]
  フェデレーション学習(fl)は、非信頼エンティティが所有する分散プライベートデータセット上での協調学習のための一般的なパラダイムになりつつある。 本稿では,多くの異種データセット,デバイス,ネットワーク上でのトレーニングを行う課題について述べる。 5つのFLベンチマークで1.5Kのユニークな構成にまたがる経験的研究を行った。
  論文  参考訳（メタデータ） (2021-02-15T12:04:38Z)
• Self-supervised Cross-silo Federated Neural Architecture Search [13.971827232338716]
  本稿では,VFL(Valtical Federated Learning)の自動化を目的とした,自己教師型垂直フェデレーションニューラルネットワーク(SS-VFNAS)を提案する。 提案したフレームワークでは、まず各パーティが自己教師付きアプローチを用いてNASを行い、独自のデータで局所最適アーキテクチャを見つける。 我々は,フェデレートNASよりも性能,通信効率,プライバシが優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-01-28T09:57:30Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。