Fugu-MT 論文翻訳(概要): FedorAS: Federated Architecture Search under system heterogeneity

論文の概要: FedorAS: Federated Architecture Search under system heterogeneity

arxiv url: http://arxiv.org/abs/2206.11239v1
Date: Wed, 22 Jun 2022 17:36:26 GMT
ステータス: 処理完了
システム内更新日: 2022-06-23 15:28:10.426931
Title: FedorAS: Federated Architecture Search under system heterogeneity
Title（参考訳）: FedorAS: システムの異質性の下でのフェデレーションアーキテクチャ検索
Authors: Lukasz Dudziak, Stefanos Laskaridis, Javier Fernandez-Marques
Abstract要約: フェデレーテッド・ラーニング(FL)は、プライバシを保ちながら分散データを使用する能力により、最近かなりの注目を集めている。また、その計算能力とコントリビューションデータの観点から、参加するデバイスの不均一性に関する追加の課題も生じている。非IID分散データを保持する様々な機能を持つデバイスを扱う際に,将来性のあるアーキテクチャを発見し,訓練するためのシステムであるFedorASを設計する。
参考スコア（独自算出の注目度）: 7.187123335023895
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) has recently gained considerable attention due to its ability to use decentralised data while preserving privacy. However, it also poses additional challenges related to the heterogeneity of the participating devices, both in terms of their computational capabilities and contributed data. Meanwhile, Neural Architecture Search (NAS) has been successfully used with centralised datasets, producing state-of-the-art results in constrained (hardware-aware) and unconstrained settings. However, even the most recent work laying at the intersection of NAS and FL assumes homogeneous compute environment with datacenter-grade hardware and does not address the issues of working with constrained, heterogeneous devices. As a result, practical usage of NAS in a federated setting remains an open problem that we address in our work. We design our system, FedorAS, to discover and train promising architectures when dealing with devices of varying capabilities holding non-IID distributed data, and present empirical evidence of its effectiveness across different settings. Specifically, we evaluate FedorAS across datasets spanning three different modalities (vision, speech, text) and show its better performance compared to state-of-the-art federated solutions, while maintaining resource efficiency.
Abstract（参考訳）: federated learning(fl)は最近、プライバシを維持しながら分散データを使用する能力により、かなりの注目を集めている。しかし、これはまた、その計算能力とコントリビューションデータの両方の観点から、参加するデバイスの不均一性に関する追加の課題を引き起こす。一方、Neural Architecture Search(NAS)は中央集権的なデータセットでうまく利用されており、制約付き(ハードウェア対応)と制約なしの設定で最先端の結果を生成する。しかしながら、NASとFLの交差点に位置する最新の研究でさえ、データセンターグレードのハードウェアで同質な計算環境を前提としており、制約のある異種デバイスを扱う際の問題には対処していない。その結果、フェデレーション環境でのnasの実用的利用は、我々の仕事において解決されるオープンな問題です。本システムであるFedorASを設計し,非IID分散データを持つ様々な機能を持つデバイスに対処する際の有望なアーキテクチャの発見と訓練を行い,その有効性を示す実証的証拠を示す。具体的には、3つの異なるモード(ビジョン、スピーチ、テキスト)にまたがるデータセット間でFedorASを評価し、リソース効率を維持しながら、最先端のフェデレーションソリューションよりも優れたパフォーマンスを示す。

関連論文リスト

Fair Differentiable Neural Network Architecture Search for Long-Tailed Data with Self-Supervised Learning [0.0]
本稿では,NASの長期化データセットにおける探索・訓練性能の向上について検討する。まず、NASに関する関連する研究と、長い尾を持つデータセットに対するディープラーニング手法について論じる。次に、自己教師付き学習と公正な差別化可能なNASを統合したSSF-NASと呼ばれる既存の研究に焦点を当てる。最後に,性能評価のためのCIFAR10-LTデータセットについて実験を行った。
論文参考訳（メタデータ） (2024-06-19T12:39:02Z)
Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
論文参考訳（メタデータ） (2024-02-28T10:09:04Z)
Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。 FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
論文参考訳（メタデータ） (2024-01-22T14:16:37Z)
Federated Learning for Computationally-Constrained Heterogeneous Devices: A Survey [3.219812767529503]
フェデレートラーニング(FL)は、通信オーバーヘッドとモデルの正確性の間のトレードオフをプライバシ保護する。現実のアプリケーションに広く適用するためにFLが克服しなければならない課題について概説する。
論文参考訳（メタデータ） (2023-07-18T12:05:36Z)
FS-Real: Towards Real-World Cross-Device Federated Learning [60.91678132132229]
Federated Learning (FL)は、ローカルデータをアップロードすることなく、分散クライアントと協調して高品質なモデルをトレーニングすることを目的としている。 FL研究と実世界のシナリオの間には依然としてかなりのギャップがあり、主に異種デバイスの特徴とそのスケールによって引き起こされている。本稿では,実世界横断デバイスFL,FS-Realのための効率的でスケーラブルなプロトタイピングシステムを提案する。
論文参考訳（メタデータ） (2023-03-23T15:37:17Z)
FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
論文参考訳（メタデータ） (2022-06-21T17:23:06Z)
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文参考訳（メタデータ） (2022-05-19T03:32:03Z)
Towards Tailored Models on Private AIoT Devices: Federated Direct Neural Architecture Search [22.69123714900226]
デバイス間の非IDデータからハードウェアフレンドリなNASを実現するためのFDNAS(Federated Direct Neural Architecture Search)フレームワークを提案する。非IIDデータセットの実験では、提案したソリューションによって達成された最先端の精度効率トレードオフが示されている。
論文参考訳（メタデータ） (2022-02-23T13:10:01Z)
Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
論文参考訳（メタデータ） (2021-06-10T21:04:18Z)
Self-supervised Cross-silo Federated Neural Architecture Search [13.971827232338716]
本稿では,VFL(Valtical Federated Learning)の自動化を目的とした,自己教師型垂直フェデレーションニューラルネットワーク(SS-VFNAS)を提案する。提案したフレームワークでは、まず各パーティが自己教師付きアプローチを用いてNASを行い、独自のデータで局所最適アーキテクチャを見つける。我々は,フェデレートNASよりも性能,通信効率,プライバシが優れていることを実験的に実証した。
論文参考訳（メタデータ） (2021-01-28T09:57:30Z)
FDNAS: Improving Data Privacy and Model Diversity in AutoML [7.402044070683503]
クライアントの分散データからハードウェアを意識したNASを実現するためのFDNAS(Federated Direct Neural Architecture Search)フレームワークを提案する。メタラーニングにインスパイアされたクライアントのデータ分散をさらに適応させるために、CFDNAS(Federated Direct Neural Architecture Search)フレームワークが提案され、クライアント対応NASを実現する。
論文参考訳（メタデータ） (2020-11-06T14:13:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。