論文の概要: SuperFed: Weight Shared Federated Learning
- arxiv url: http://arxiv.org/abs/2301.10879v1
- Date: Thu, 26 Jan 2023 00:17:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 14:47:58.328488
- Title: SuperFed: Weight Shared Federated Learning
- Title（参考訳）: superfed: 重み共有連合学習
- Authors: Alind Khare, Animesh Agrawal, Myungjin Lee, Alexey Tumanov
- Abstract要約: グローバルモデルのファミリーをトレーニングするためには、フェデレートされた方法で効率よくコストがかかる。
SuperFed - 大規模なモデル群を共同トレーニングするために、$O(1)$コストを発生させるアーキテクチャフレームワークを提案する。
通信と計算の両方において、大幅なコスト削減を実現しています。
- 参考スコア（独自算出の注目度）: 4.396860522241306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a well-established technique for privacy
preserving distributed training. Much attention has been given to various
aspects of FL training. A growing number of applications that consume
FL-trained models, however, increasingly operate under dynamically and
unpredictably variable conditions, rendering a single model insufficient. We
argue for training a global family of models cost efficiently in a federated
fashion. Training them independently for different tradeoff points incurs
$O(k)$ cost for any k architectures of interest, however. Straightforward
applications of FL techniques to recent weight-shared training approaches is
either infeasible or prohibitively expensive. We propose SuperFed - an
architectural framework that incurs $O(1)$ cost to co-train a large family of
models in a federated fashion by leveraging weight-shared learning. We achieve
an order of magnitude cost savings on both communication and computation by
proposing two novel training mechanisms: (a) distribution of weight-shared
models to federated clients, (b) central aggregation of arbitrarily overlapping
weight-shared model parameters. The combination of these mechanisms is shown to
reach an order of magnitude (9.43x) reduction in computation and communication
cost for training a $5*10^{18}$-sized family of models, compared to
independently training as few as $k = 9$ DNNs without any accuracy loss.
- Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、分散トレーニングをプライバシに保存するための確立したテクニックである。
flトレーニングのさまざまな側面に多くの注意が払われている。
しかし、flで訓練されたモデルを消費するアプリケーションの数は増加しており、動的かつ予測不能な条件下での運用が増え、単一のモデルでは不十分になっている。
グローバルなモデルファミリーのトレーニングは、フェデレーション方式で効率的にコストがかかると論じている。
しかし、異なるトレードオフポイントに対して独立したトレーニングを行うと、興味のあるkアーキテクチャに対して$O(k)$コストが発生する。
FL手法の最近の重み付けトレーニングアプローチへのストレートフォワード適用は、実現不可能または違法に高価である。
SuperFed - 重み付き学習を活用することで、大きなモデルのファミリーを連携して訓練する、コスト$O(1)のアーキテクチャフレームワークを提案する。
2つの新しい訓練機構を提案することにより,コミュニケーションと計算の両面で1桁のコスト削減を実現する。
(a)連合顧客に対する重み付きモデルの分布
(b)重み付きモデルパラメータの任意の重み付けの中央集約。
これらの機構の組み合わせは、5*10^{18}$サイズのモデルの訓練に要する計算コストと通信コストの桁違い(9.43倍)に低下することが示されている。
関連論文リスト
- Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search [5.1331676121360985]
我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。
類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
論文 参考訳（メタデータ） (2024-11-21T02:43:32Z) - SiGeo: Sub-One-Shot NAS via Information Theory and Geometry of Loss
Landscape [14.550053893504764]
ゼロショットとワンショットNASの間のブリッジとして機能する"サブワンショット"パラダイムを導入する。
サブワンショットNASでは、スーパーネットはトレーニングデータの小さなサブセットのみを使用してトレーニングされる。
提案するプロキシは,スーパーネットウォームアップとプロキシの有効性を結びつける,新しい理論フレームワーク上に構築されたプロキシである。
論文 参考訳（メタデータ） (2023-11-22T05:25:24Z) - Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。
本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
論文 参考訳（メタデータ） (2023-05-26T14:00:35Z) - Generalization Properties of NAS under Activation and Skip Connection
Search [66.8386847112332]
ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。
我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。
トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
論文 参考訳（メタデータ） (2022-09-15T12:11:41Z) - Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
ENCAS - Evolutionary Neural Cascade Searchを紹介する。
ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。
我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
論文 参考訳（メタデータ） (2022-03-08T11:06:01Z) - Neural Architecture Search on ImageNet in Four GPU Hours: A
Theoretically Inspired Perspective [88.39981851247727]
トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。
TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。
1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
論文 参考訳（メタデータ） (2021-02-23T07:50:44Z) - Direct Federated Neural Architecture Search [0.0]
本稿では,ハードウェアに依存せず,計算的に軽量な直接フェデレーションNASと,準備の整ったニューラルネットワークモデルを探すためのワンステージ手法を提案する。
以上の結果から, 従来技術の精度向上を図りながら, 資源消費の大幅な削減を図った。
論文 参考訳（メタデータ） (2020-10-13T08:11:35Z) - Revisiting Neural Architecture Search [0.0]
我々は、人間の努力を伴わずに完全なニューラルネットワークを探索する新しいアプローチを提案し、AutoML-nirvanaに一歩近づいた。
提案手法は,ニューラルネットワークにマッピングされた完全なグラフから始まり,探索空間の探索と利用のバランスをとることにより,接続と操作を探索する。
論文 参考訳（メタデータ） (2020-10-12T13:57:30Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳（メタデータ） (2020-09-08T15:51:23Z) - DSNAS: Direct Neural Architecture Search without Parameter Retraining [112.02966105995641]
この観測に基づいて,タスク固有のエンドツーエンドであるNASの新たな問題定義を提案する。
低バイアスモンテカルロ推定でアーキテクチャとパラメータを同時に最適化する効率的な微分可能なNASフレームワークであるDSNASを提案する。
DSNASは、420GPU時間でImageNetで同等の精度(74.4%)のネットワークを発見し、総時間を34%以上削減した。
論文 参考訳（メタデータ） (2020-02-21T04:41:47Z) - Federated Neural Architecture Search [19.573780215917477]
我々は、フェデレートニューラルアーキテクチャサーチと呼ばれる新しいDNNトレーニングパラダイムとして、分散トレーニングへの自動ニューラルアーキテクチャサーチを提案する。
我々は、効率的なフェデレーションNASのための高度に最適化されたフレームワークであるFedNASを提案する。
大規模なデータセットと典型的なCNNアーキテクチャでテストされたFedNASは、最先端NASアルゴリズムと同等のモデル精度を達成している。
論文 参考訳（メタデータ） (2020-02-15T10:01:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。