論文の概要: Federated Neural Architecture Search with Model-Agnostic Meta Learning

• arxiv url: http://arxiv.org/abs/2504.06457v1
• Date: Tue, 08 Apr 2025 21:57:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:06:57.768105
• Title: Federated Neural Architecture Search with Model-Agnostic Meta Learning
• Title（参考訳）: モデルに依存しないメタ学習を用いたフェデレーションニューラルアーキテクチャ検索
• Authors: Xinyuan Huang, Jiechao Gao,
• Abstract要約: Federated Neural Architecture Search (NAS)は、異種データに適した最適なモデルアーキテクチャの協調検索を可能にする。 メタラーニングをNASと統合するフレームワークであるFedMetaNASをフェデレートラーニングコンテキスト内に導入する。 その結果,FedMetaNASはFedNASに比べて50%以上の精度で検索処理を高速化することがわかった。
• 参考スコア（独自算出の注目度）: 7.542593703407386
• License:
• Abstract: Federated Learning (FL) often struggles with data heterogeneity due to the naturally uneven distribution of user data across devices. Federated Neural Architecture Search (NAS) enables collaborative search for optimal model architectures tailored to heterogeneous data to achieve higher accuracy. However, this process is time-consuming due to extensive search space and retraining. To overcome this, we introduce FedMetaNAS, a framework that integrates meta-learning with NAS within the FL context to expedite the architecture search by pruning the search space and eliminating the retraining stage. Our approach first utilizes the Gumbel-Softmax reparameterization to facilitate relaxation of the mixed operations in the search space. We then refine the local search process by incorporating Model-Agnostic Meta-Learning, where a task-specific learner adapts both weights and architecture parameters (alphas) for individual tasks, while a meta learner adjusts the overall model weights and alphas based on the gradient information from task learners. Following the meta-update, we propose soft pruning using the same trick on search space to gradually sparsify the architecture, ensuring that the performance of the chosen architecture remains robust after pruning which allows for immediate use of the model without retraining. Experimental evaluations demonstrate that FedMetaNAS significantly accelerates the search process by more than 50\% with higher accuracy compared to FedNAS.
• Abstract（参考訳）: フェデレートラーニング(FL)は、デバイス間でのユーザデータの自然に不均一な分散のために、データの異質性に苦しむことが多い。 Federated Neural Architecture Search (NAS)は、異種データに適した最適なモデルアーキテクチャの協調検索を可能にする。 しかし、このプロセスは広い検索スペースと再訓練のために時間がかかる。 これを解決するために,FLコンテキスト内でNASとメタラーニングを統合したフレームワークであるFedMetaNASを導入する。 提案手法はまずGumbel-Softmax再パラメータ化を利用して,探索空間における混合操作の緩和を容易にする。 そこで,タスク固有の学習者が個々のタスクに対して重みとアーキテクチャパラメータ(アルファ)の両方を適応させ,メタ学習者がタスク学習者からの勾配情報に基づいて全体のモデルの重みとアルファを調整し,局所的な探索プロセスを洗練する。 メタ更新に続いて,探索空間上で同じトリックを併用したソフトプルーニングを提案し,アーキテクチャを段階的に拡張し,再学習せずにモデルを直接使用可能なプルーニング後に,選択したアーキテクチャの性能が安定していることを保証した。 実験により,FedMetaNASはFedNASよりも高い精度で検索プロセスを50%以上加速することが示された。

関連論文リスト

• Efficient Global Neural Architecture Search [2.0973843981871574]
  本稿では,異なるネットワークに対する可変トレーニングスキームを用いたアーキテクチャ対応近似を提案する。 提案するフレームワークは,CIFAR-10,CIFAR-100,FashionMNISTデータセットに対して高い競争力を持ちながら,EMNISTとKMNISTの新たな最先端を実現する。
  論文  参考訳（メタデータ） (2025-02-05T19:10:17Z)
• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Training-free Neural Architecture Search for RNNs and Transformers [0.0]
  我々は、RNNアーキテクチャのトレーニング性能を予測する、隠れ共分散と呼ばれる新しいトレーニングフリーメトリックを開発した。 トランスフォーマーアーキテクチャの現在の検索空間パラダイムは、トレーニング不要なニューラルアーキテクチャサーチに最適化されていない。
  論文  参考訳（メタデータ） (2023-06-01T02:06:13Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• SPIDER: Searching Personalized Neural Architecture for Federated Learning [17.61748275091843]
  フェデレーション・ラーニング(FL)は、プライバシと規制上の制約により、データが集中型サーバと共有できない場合、機械学習を支援する。 FLの最近の進歩は、すべてのクライアントに対して事前定義されたアーキテクチャベースの学習を使用する。 我々は、フェデレート学習のためのパーソナライズされたニューラルアーキテクチャの検索を目的としたアルゴリズムフレームワークであるSPIDERを紹介する。
  論文  参考訳（メタデータ） (2021-12-27T23:42:15Z)
• FNAS: Uncertainty-Aware Fast Neural Architecture Search [54.49650267859032]
  強化学習(Reinforcement Learning, RL)に基づくニューラルアーキテクチャサーチ(NAS)は一般的に、収束性の向上を保証するが、巨大な計算資源の要求に悩まされる。 NASにおけるロールアウトプロセスとRLプロセスの収束を加速する汎用パイプラインを提案する。 Mobile Neural Architecture Search (MNAS)サーチスペースの実験では、提案するFast Neural Architecture Search (FNAS)が標準のRLベースのNASプロセスを10倍高速化することを示した。
  論文  参考訳（メタデータ） (2021-05-25T06:32:52Z)
• Prioritized Architecture Sampling with Monto-Carlo Tree Search [54.72096546595955]
  ワンショットニューラルアーキテクチャサーチ(NAS)法は,検索空間全体を1つのネットワークとして考えることにより,検索コストを大幅に削減する。 本稿では,モンテカルロ木(MCT)をモデルとした探索空間を用いたモンテカルロ木探索(MCTS)に基づくサンプリング戦略について紹介する。 公平な比較のために、CIFAR-10で評価されたマクロ検索空間、すなわちNAS-Bench-MacroのオープンソースNASベンチマークを構築する。
  論文  参考訳（メタデータ） (2021-03-22T15:09:29Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。