論文の概要: Towards Tailored Models on Private AIoT Devices: Federated Direct Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2202.11490v1
• Date: Wed, 23 Feb 2022 13:10:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-24 20:47:22.887021
• Title: Towards Tailored Models on Private AIoT Devices: Federated Direct Neural Architecture Search
• Title（参考訳）: プライベートなAIoTデバイスに関するテーラーモデルに向けて:フェデレートされたニューラルアーキテクチャ検索
• Authors: Chunhui Zhang, Xiaoming Yuan, Qianyun Zhang, Guangxu Zhu, Lei Cheng, and Ning Zhang
• Abstract要約: デバイス間の非IDデータからハードウェアフレンドリなNASを実現するためのFDNAS(Federated Direct Neural Architecture Search)フレームワークを提案する。 非IIDデータセットの実験では、提案したソリューションによって達成された最先端の精度効率トレードオフが示されている。
• 参考スコア（独自算出の注目度）: 22.69123714900226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks often encounter various stringent resource constraints while deploying on edge devices. To tackle these problems with less human efforts, automated machine learning becomes popular in finding various neural architectures that fit diverse Artificial Intelligence of Things (AIoT) scenarios. Recently, to prevent the leakage of private information while enable automated machine intelligence, there is an emerging trend to integrate federated learning and neural architecture search (NAS). Although promising as it may seem, the coupling of difficulties from both tenets makes the algorithm development quite challenging. In particular, how to efficiently search the optimal neural architecture directly from massive non-independent and identically distributed (non-IID) data among AIoT devices in a federated manner is a hard nut to crack. In this paper, to tackle this challenge, by leveraging the advances in ProxylessNAS, we propose a Federated Direct Neural Architecture Search (FDNAS) framework that allows for hardware-friendly NAS from non- IID data across devices. To further adapt to both various data distributions and different types of devices with heterogeneous embedded hardware platforms, inspired by meta-learning, a Cluster Federated Direct Neural Architecture Search (CFDNAS) framework is proposed to achieve device-aware NAS, in the sense that each device can learn a tailored deep learning model for its particular data distribution and hardware constraint. Extensive experiments on non-IID datasets have shown the state-of-the-art accuracy-efficiency trade-offs achieved by the proposed solution in the presence of both data and device heterogeneity.
• Abstract（参考訳）: ニューラルネットワークは、エッジデバイスにデプロイする際、様々な厳しいリソース制約に遭遇することが多い。 人間の努力を減らしてこれらの問題に取り組むために、機械学習は、さまざまな人工知能(AIoT)シナリオに適合するさまざまなニューラルネットワークを見つけることで人気がある。 近年,自動機械知能を実現しながら個人情報の漏洩を防止するため,連合学習とニューラルネットワーク検索(nas)の統合が注目されている。 期待できるように思えるが、両者の難しさの結合はアルゴリズム開発を非常に困難にしている。 特に、AIoTデバイス間で巨大な非独立かつ同一の(非IID)データから直接、最適なニューラルネットワークを直接、フェデレートして効率的に検索する方法は、クラックが難しい。 本稿では,ProxylessNASの進歩を活用することで,デバイス間の非IDデータからハードウェアフレンドリなNASを実現するためのFDNAS(Federated Direct Neural Architecture Search)フレームワークを提案する。 メタラーニングにインスパイアされた異種組み込みハードウェアプラットフォームを用いたさまざまなデータ分散と異なるタイプのデバイスの両方にさらに適応するために、各デバイスが特定のデータ分散とハードウェア制約に対して適切なディープラーニングモデルを学習できるという意味で、デバイス対応NASを実現するために、CFDNAS(Cluster Federated Direct Neural Architecture Search)フレームワークが提案されている。 非IIDデータセットに対する大規模な実験は、提案したソリューションがデータとデバイスの不均一性の両方の存在下で達成した最先端の精度効率トレードオフを示している。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
  本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。 提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
  論文  参考訳（メタデータ） (2024-02-28T10:09:04Z)
• IDENAS: Internal Dependency Exploration for Neural Architecture Search [0.0]
  内部依存に基づくニューラルアーキテクチャ探索(NAS)とフィーチャーセレクションは、このようなシナリオで有望なソリューションとして現れている。 本研究は、内部依存に基づくニューラルアーキテクチャ探索であるIDENASを提案し、NASと特徴選択を統合する。 本手法は1次元センサと2次元画像データを含む分類のための完全パラメータ空間の内部依存性についても検討する。
  論文  参考訳（メタデータ） (2023-10-26T08:58:29Z)
• Ensemble Learning based Anomaly Detection for IoT Cybersecurity via Bayesian Hyperparameters Sensitivity Analysis [2.3226893628361682]
  IoT(Internet of Things)は、世界中の何十億ものインテリジェントデバイスを統合し、他の接続デバイスと通信する機能を備えている。 IoTによって収集されたデータには、異常検出のための膨大な情報が含まれている。 本稿では,異常検出によるIoTサイバーセキュリティ向上のためのアンサンブル機械学習手法について検討する。
  論文  参考訳（メタデータ） (2023-07-20T05:23:49Z)
• Search-time Efficient Device Constraints-Aware Neural Architecture Search [6.527454079441765]
  コンピュータビジョンや自然言語処理といったディープラーニング技術は、計算コストが高く、メモリ集約的です。 ニューラルアーキテクチャサーチ(NAS)によるデバイス制約に最適化されたタスク固有のディープラーニングアーキテクチャの構築を自動化する。 本稿では,エッジデバイス制約を組み込んだ高速ニューラルネットワークアーキテクチャ探索の原理的手法であるDCA-NASを提案する。
  論文  参考訳（メタデータ） (2023-07-10T09:52:28Z)
• FedorAS: Federated Architecture Search under system heterogeneity [7.187123335023895]
  フェデレーテッド・ラーニング(FL)は、プライバシを保ちながら分散データを使用する能力により、最近かなりの注目を集めている。 また、その計算能力とコントリビューションデータの観点から、参加するデバイスの不均一性に関する追加の課題も生じている。 非IID分散データを保持する様々な機能を持つデバイスを扱う際に,将来性のあるアーキテクチャを発見し,訓練するためのシステムであるFedorASを設計する。
  論文  参考訳（メタデータ） (2022-06-22T17:36:26Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
  注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。 我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
  論文  参考訳（メタデータ） (2021-06-10T21:04:18Z)
• FDNAS: Improving Data Privacy and Model Diversity in AutoML [7.402044070683503]
  クライアントの分散データからハードウェアを意識したNASを実現するためのFDNAS(Federated Direct Neural Architecture Search)フレームワークを提案する。 メタラーニングにインスパイアされたクライアントのデータ分散をさらに適応させるために、CFDNAS(Federated Direct Neural Architecture Search)フレームワークが提案され、クライアント対応NASを実現する。
  論文  参考訳（メタデータ） (2020-11-06T14:13:42Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。