論文の概要: FAQS: Communication-efficient Federate DNN Architecture and Quantization Co-Search for personalized Hardware-aware Preferences

• arxiv url: http://arxiv.org/abs/2210.08450v1
• Date: Sun, 16 Oct 2022 05:29:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 16:47:35.344402
• Title: FAQS: Communication-efficient Federate DNN Architecture and Quantization Co-Search for personalized Hardware-aware Preferences
• Title（参考訳）: FAQS:通信効率のよいフェデレートDNNアーキテクチャと、パーソナライズされたハードウェア・アウェア・プライオリティのための量子化コサーチ
• Authors: Hongjiang Chen, Yang Wang, Leibo Liu, Shaojun Wei, Shouyi Yin
• Abstract要約: 深層ニューラルネットワーク(DNN)を分散データクライアント上でトレーニングするための分散学習フレームワークとして、フェデレートラーニング(FL)が提案されている。 通信コストを削減するために,FL-NAS-QuantizationフレームワークであるFAQSを提案する。 FAQSは、FL+NASフラムワークと比較して、通常のFLフレームワークと4.51倍の通信帯域で平均1.58倍の低減を実現している。
• 参考スコア（独自算出の注目度）: 30.45926484863791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to user privacy and regulatory restrictions, federate learning (FL) is proposed as a distributed learning framework for training deep neural networks (DNN) on decentralized data clients. Recent advancements in FL have applied Neural Architecture Search (NAS) to replace the predefined one-size-fit-all DNN model, which is not optimal for all tasks of various data distributions, with searchable DNN architectures. However, previous methods suffer from expensive communication cost rasied by frequent large model parameters transmission between the server and clients. Such difficulty is further amplified when combining NAS algorithms, which commonly require prohibitive computation and enormous model storage. Towards this end, we propose FAQS, an efficient personalized FL-NAS-Quantization framework to reduce the communication cost with three features: weight-sharing super kernels, bit-sharing quantization and masked transmission. FAQS has an affordable search time and demands very limited size of transmitted messages at each round. By setting different personlized pareto function loss on local clients, FAQS can yield heterogeneous hardware-aware models for various user preferences. Experimental results show that FAQS achieves average reduction of 1.58x in communication bandwith per round compared with normal FL framework and 4.51x compared with FL+NAS framwork.
• Abstract（参考訳）: ユーザのプライバシと規制の制限により、分散データクライアント上でディープニューラルネットワーク(DNN)をトレーニングするための分散学習フレームワークとして、フェデレートラーニング(FL)が提案されている。 FLの最近の進歩は、ニューラルネットワークサーチ(NAS)を用いて、様々なデータ分散の全てのタスクに最適ではない事前定義された1サイズ全DNNモデルを、検索可能なDNNアーキテクチャで置き換えている。 しかし,従来の手法では,サーバとクライアント間で頻繁に大きなモデルパラメータが伝達されるため,通信コストが高価であった。 このような難しさは、一般に禁止計算と巨大なモデル記憶を必要とするNASアルゴリズムを組み合わせることでさらに増幅される。 そこで本研究では,重み共有スーパーカーネル,ビット共有量子化,マスク伝送という3つの特徴により通信コストを削減するための,効率的なパーソナライズ FL-NAS-Quantization フレームワーク FAQS を提案する。 FAQSは安価な検索時間を持ち、各ラウンドで送信メッセージのサイズに非常に制限がある。 パーソナライズされたpareto関数の損失をローカルクライアントに設定することで、faqは様々なユーザ好みの異種ハードウェアアウェアモデルを生成することができる。 実験結果から,FAQSはFL+NASフラムワークに比べて1ラウンドあたり平均1.58倍,4.51倍の通信帯域を達成できた。

関連論文リスト

• Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
  本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。 この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
  論文  参考訳（メタデータ） (2024-08-26T17:03:14Z)
• Federated Hyperdimensional Computing [14.844383542052169]
  フェデレートラーニング(FL)は、参加するクライアントの緩やかなセットが、中央サーバによる調整を通じて、グローバルモデルを協調的に学習することを可能にする。 既存のFLアプローチは、ディープニューラルネットワーク(DNN)のような巨大なモデルを持つ複雑なアルゴリズムに依存している。 我々はまず,超次元コンピューティング(HDC)に基づくフェデレーション学習フレームワークであるFedHDCを提案する。
  論文  参考訳（メタデータ） (2023-12-26T09:24:19Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Federated Nearest Neighbor Machine Translation [66.8765098651988]
  本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。 FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。 実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
  論文  参考訳（メタデータ） (2023-02-23T18:04:07Z)
• HQNAS: Auto CNN deployment framework for joint quantization and architecture search [30.45926484863791]
  ハードウェア対応量子化ニューラルネットワーク探索(HQNAS)と呼ばれる新しいニューラルネットワーク設計フレームワークを提案する。 CIFAR10の優れたNNポリシーを見つけるのにわずか4時間しかかからない。 また、Imagenetで同等のモデルを生成するのに10パーセントのGPU時間しかかからない。
  論文  参考訳（メタデータ） (2022-10-16T08:32:18Z)
• SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
  フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。 本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T15:06:13Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• FLASH: Fast Neural Architecture Search with Hardware Optimization [7.263481020106725]
  ニューラルアーキテクチャサーチ(NAS)は、効率的かつ高性能なディープニューラルネットワーク(DNN)を設計するための有望な手法である 本稿では,実ハードウェアプラットフォーム上でのDNNの精度と性能を協調的に最適化する,非常に高速なNAS手法であるFLASHを提案する。
  論文  参考訳（メタデータ） (2021-08-01T23:46:48Z)
• Direct Federated Neural Architecture Search [0.0]
  本稿では,ハードウェアに依存せず,計算的に軽量な直接フェデレーションNASと,準備の整ったニューラルネットワークモデルを探すためのワンステージ手法を提案する。 以上の結果から, 従来技術の精度向上を図りながら, 資源消費の大幅な削減を図った。
  論文  参考訳（メタデータ） (2020-10-13T08:11:35Z)
• Federated Neural Architecture Search [19.573780215917477]
  我々は、フェデレートニューラルアーキテクチャサーチと呼ばれる新しいDNNトレーニングパラダイムとして、分散トレーニングへの自動ニューラルアーキテクチャサーチを提案する。 我々は、効率的なフェデレーションNASのための高度に最適化されたフレームワークであるFedNASを提案する。 大規模なデータセットと典型的なCNNアーキテクチャでテストされたFedNASは、最先端NASアルゴリズムと同等のモデル精度を達成している。
  論文  参考訳（メタデータ） (2020-02-15T10:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。