論文の概要: SPIDER: Searching Personalized Neural Architecture for Federated
Learning
- arxiv url: http://arxiv.org/abs/2112.13939v1
- Date: Mon, 27 Dec 2021 23:42:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-31 07:07:06.928161
- Title: SPIDER: Searching Personalized Neural Architecture for Federated
Learning
- Title（参考訳）: SPIDER:フェデレーションラーニングのためのパーソナライズされたニューラルネットワーク
- Authors: Erum Mushtaq, Chaoyang He, Jie Ding, Salman Avestimehr
- Abstract要約: フェデレーション・ラーニング(FL)は、プライバシと規制上の制約により、データが集中型サーバと共有できない場合、機械学習を支援する。
FLの最近の進歩は、すべてのクライアントに対して事前定義されたアーキテクチャベースの学習を使用する。
我々は、フェデレート学習のためのパーソナライズされたニューラルアーキテクチャの検索を目的としたアルゴリズムフレームワークであるSPIDERを紹介する。
- 参考スコア（独自算出の注目度）: 17.61748275091843
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is an efficient learning framework that assists
distributed machine learning when data cannot be shared with a centralized
server due to privacy and regulatory restrictions. Recent advancements in FL
use predefined architecture-based learning for all the clients. However, given
that clients' data are invisible to the server and data distributions are
non-identical across clients, a predefined architecture discovered in a
centralized setting may not be an optimal solution for all the clients in FL.
Motivated by this challenge, in this work, we introduce SPIDER, an algorithmic
framework that aims to Search Personalized neural architecture for federated
learning. SPIDER is designed based on two unique features: (1) alternately
optimizing one architecture-homogeneous global model (Supernet) in a generic FL
manner and one architecture-heterogeneous local model that is connected to the
global model by weight sharing-based regularization (2) achieving
architecture-heterogeneous local model by a novel neural architecture search
(NAS) method that can select optimal subnet progressively using operation-level
perturbation on the accuracy value as the criterion. Experimental results
demonstrate that SPIDER outperforms other state-of-the-art personalization
methods, and the searched personalized architectures are more inference
efficient.
- Abstract（参考訳）: federated learning(fl)は、プライバシと規制上の制約のためにデータが集中型サーバと共有できない場合に、分散機械学習を支援する効率的な学習フレームワークである。
FLの最近の進歩は、すべてのクライアントに対して事前定義されたアーキテクチャベースの学習を使用する。
しかし、クライアントのデータがサーバに見えず、データ分散がクライアント間で識別できないことを考えると、集中的な設定で発見された事前定義されたアーキテクチャは、FLのすべてのクライアントにとって最適な解決策ではないかもしれない。
この課題に動機づけられた本研究では、フェデレーション学習のためのパーソナライズされたニューラルネットワークアーキテクチャ検索を目的としたアルゴリズムフレームワークであるSPIDERを紹介する。
spiderは、1つのアーキテクチャに均質なグローバルモデル(スーパーネット)をジェネリックfl方式で交互に最適化する2つの特徴と、重み共有に基づく正規化によってグローバルモデルと接続される1つのアーキテクチャヘテロジェンスローカルモデル (2)新しいニューラルネットワーク探索(nas)法によるアーキテクチャヘテロジェンスローカルモデルの実現 操作レベルの摂動を基準として、最適なサブネットを段階的に選択できる。
実験の結果、SPIDERは他の最先端のパーソナライズ手法よりも優れており、検索されたパーソナライズされたアーキテクチャの方が推論効率が高いことがわかった。
関連論文リスト
- EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
眼球運動バイオメトリックスは、高い安全性の識別により注目されている。
深層学習(DL)モデルは近年,眼球運動認識に成功している。
DLアーキテクチャはまだ人間の事前知識によって決定されている。
眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
論文 参考訳（メタデータ） (2024-09-22T13:11:08Z) - Federated Learning with Flexible Architectures [12.800116749927266]
本稿では,フレキシブルアーキテクチャを用いたフェデレートラーニング(FedFA)について紹介する。
FedFAは、モデルアグリゲーション中に、クライアントのローカルアーキテクチャとFLシステムにおける最大のネットワークアーキテクチャを整合させるために、レイヤグラフト技術を導入している。
論文 参考訳（メタデータ） (2024-06-14T09:44:46Z) - Multi-conditioned Graph Diffusion for Neural Architecture Search [8.290336491323796]
本稿では、離散的な条件付きグラフ拡散プロセスを用いて、高性能ニューラルネットワークアーキテクチャを生成するグラフ拡散に基づくNAS手法を提案する。
6つの標準ベンチマークで有望な結果を示し、新しいアーキテクチャとユニークなアーキテクチャを高速に実現します。
論文 参考訳（メタデータ） (2024-03-09T21:45:31Z) - Heterogeneous Ensemble Knowledge Transfer for Training Large Models in
Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。
既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。
本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文 参考訳（メタデータ） (2022-04-27T05:18:32Z) - Architecture Agnostic Federated Learning for Neural Networks [19.813602191888837]
この研究は、FedHeNN(Federated Heterogeneous Neural Networks)フレームワークを導入している。
FedHeNNは、クライアント間の共通アーキテクチャを強制することなく、各クライアントがパーソナライズされたモデルを構築することを可能にする。
FedHeNNのキーとなるアイデアは、ピアクライアントから取得したインスタンスレベルの表現を使用して、各クライアントの同時トレーニングをガイドすることだ。
論文 参考訳（メタデータ） (2022-02-15T22:16:06Z) - Federated Learning with Heterogeneous Architectures using Graph
HyperNetworks [154.60662664160333]
パラメータ共有にグラフハイパーネットワークを採用することにより、異種クライアントアーキテクチャに対応する新しいFLフレームワークを提案する。
既存のソリューションとは異なり、当社のフレームワークは、クライアントが同じアーキテクチャタイプを共有することを制限せず、外部データも使用せず、クライアントがモデルアーキテクチャを公開する必要もありません。
論文 参考訳（メタデータ） (2022-01-20T21:36:25Z) - AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。
提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。
実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-07-15T16:46:01Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳（メタデータ） (2020-12-01T11:46:03Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳（メタデータ） (2020-05-29T09:02:16Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。