論文の概要: Towards Non-I.I.D. and Invisible Data with FedNAS: Federated Deep Learning via Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2004.08546v4
• Date: Mon, 4 Jan 2021 02:18:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 05:00:41.386903
• Title: Towards Non-I.I.D. and Invisible Data with FedNAS: Federated Deep Learning via Neural Architecture Search
• Title（参考訳）: FedNASによる非I.D.と不可視データに向けて:ニューラルアーキテクチャサーチによる深層学習
• Authors: Chaoyang He, Murali Annavaram, Salman Avestimehr
• Abstract要約: 本稿では,より高精度なアーキテクチャの探索を支援するために,フェデレートNAS(FedNAS)アルゴリズムを提案する。 非IIDデータセットに対する実験により、FedNASが検索したアーキテクチャは、手動で定義したアーキテクチャよりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 15.714385295889944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) has been proved to be an effective learning framework when data cannot be centralized due to privacy, communication costs, and regulatory restrictions. When training deep learning models under an FL setting, people employ the predefined model architecture discovered in the centralized environment. However, this predefined architecture may not be the optimal choice because it may not fit data with non-identical and independent distribution (non-IID). Thus, we advocate automating federated learning (AutoFL) to improve model accuracy and reduce the manual design effort. We specifically study AutoFL via Neural Architecture Search (NAS), which can automate the design process. We propose a Federated NAS (FedNAS) algorithm to help scattered workers collaboratively searching for a better architecture with higher accuracy. We also build a system based on FedNAS. Our experiments on non-IID dataset show that the architecture searched by FedNAS can outperform the manually predefined architecture.
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシ、通信コスト、規制規制のためにデータが集中できない場合に有効な学習フレームワークであることが証明されている。 fl設定下でディープラーニングモデルをトレーニングする場合、集中型環境で発見された事前定義されたモデルアーキテクチャを採用する。 しかし、この事前定義されたアーキテクチャは、データを識別できない独立分布(非IID)に適合しないため、最適な選択ではないかもしれない。 そこで我々は,モデル精度を向上し,手作業による設計作業を減らすために,自動学習(AutoFL)を提唱する。 設計プロセスを自動化するニューラルネットワークサーチ(NAS)を用いてAutoFLを特に研究する。 本稿では,より高精度なアーキテクチャの探索を支援するために,フェデレートNAS(FedNAS)アルゴリズムを提案する。 FedNASに基づくシステムも構築しています。 非IIDデータセットに対する実験により、FedNASが検索したアーキテクチャは、手動で定義したアーキテクチャよりも優れていることが示された。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
  Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。 本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:00:35Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• Pretraining Neural Architecture Search Controllers with Locality-based Self-Supervised Learning [0.0]
  コントローラベースのNASに適用可能なプリトレーニング方式を提案する。 本手法は局所性に基づく自己教師付き分類タスクであり,ネットワークアーキテクチャの構造的類似性を活用し,優れたアーキテクチャ表現を得る。
  論文  参考訳（メタデータ） (2021-03-15T06:30:36Z)
• Self-supervised Cross-silo Federated Neural Architecture Search [13.971827232338716]
  本稿では,VFL(Valtical Federated Learning)の自動化を目的とした,自己教師型垂直フェデレーションニューラルネットワーク(SS-VFNAS)を提案する。 提案したフレームワークでは、まず各パーティが自己教師付きアプローチを用いてNASを行い、独自のデータで局所最適アーキテクチャを見つける。 我々は,フェデレートNASよりも性能,通信効率,プライバシが優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-01-28T09:57:30Z)
• FDNAS: Improving Data Privacy and Model Diversity in AutoML [7.402044070683503]
  クライアントの分散データからハードウェアを意識したNASを実現するためのFDNAS(Federated Direct Neural Architecture Search)フレームワークを提案する。 メタラーニングにインスパイアされたクライアントのデータ分散をさらに適応させるために、CFDNAS(Federated Direct Neural Architecture Search)フレームワークが提案され、クライアント対応NASを実現する。
  論文  参考訳（メタデータ） (2020-11-06T14:13:42Z)
• Direct Federated Neural Architecture Search [0.0]
  本稿では,ハードウェアに依存せず,計算的に軽量な直接フェデレーションNASと,準備の整ったニューラルネットワークモデルを探すためのワンステージ手法を提案する。 以上の結果から, 従来技術の精度向上を図りながら, 資源消費の大幅な削減を図った。
  論文  参考訳（メタデータ） (2020-10-13T08:11:35Z)
• A Privacy-Preserving Distributed Architecture for Deep-Learning-as-a-Service [68.84245063902908]
  本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。 クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
  論文  参考訳（メタデータ） (2020-03-30T15:12:03Z)
• Federated Neural Architecture Search [19.573780215917477]
  我々は、フェデレートニューラルアーキテクチャサーチと呼ばれる新しいDNNトレーニングパラダイムとして、分散トレーニングへの自動ニューラルアーキテクチャサーチを提案する。 我々は、効率的なフェデレーションNASのための高度に最適化されたフレームワークであるFedNASを提案する。 大規模なデータセットと典型的なCNNアーキテクチャでテストされたFedNASは、最先端NASアルゴリズムと同等のモデル精度を達成している。
  論文  参考訳（メタデータ） (2020-02-15T10:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。