論文の概要: Meta knowledge assisted Evolutionary Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2504.21545v1
• Date: Wed, 30 Apr 2025 11:43:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 19:09:02.01494
• Title: Meta knowledge assisted Evolutionary Neural Architecture Search
• Title（参考訳）: 進化的ニューラルアーキテクチャ探索を支援するメタ知識
• Authors: Yangyang Li, Guanlong Liu, Ronghua Shang, Licheng Jiao,
• Abstract要約: 本稿では,革新的なメタラーニングフレームワークを用いて,効率的なECベースのNAS手法を提案する。 アダプティブサロゲートモデルは、潜在的なアーキテクチャを選択するためのアダプティブしきい値によって設計される。 CIFAR-10, CIFAR-100, ImageNet1Kデータセットを用いた実験により, 提案手法は最先端のピア手法に匹敵する高い性能が得られることを示した。
• 参考スコア（独自算出の注目度）: 38.55611683982936
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Evolutionary computation (EC)-based neural architecture search (NAS) has achieved remarkable performance in the automatic design of neural architectures. However, the high computational cost associated with evaluating searched architectures poses a challenge for these methods, and a fixed form of learning rate (LR) schedule means greater information loss on diverse searched architectures. This paper introduces an efficient EC-based NAS method to solve these problems via an innovative meta-learning framework. Specifically, a meta-learning-rate (Meta-LR) scheme is used through pretraining to obtain a suitable LR schedule, which guides the training process with lower information loss when evaluating each individual. An adaptive surrogate model is designed through an adaptive threshold to select the potential architectures in a few epochs and then evaluate the potential architectures with complete epochs. Additionally, a periodic mutation operator is proposed to increase the diversity of the population, which enhances the generalizability and robustness. Experiments on CIFAR-10, CIFAR-100, and ImageNet1K datasets demonstrate that the proposed method achieves high performance comparable to that of many state-of-the-art peer methods, with lower computational cost and greater robustness.
• Abstract（参考訳）: 進化的計算(EC)に基づくニューラルアーキテクチャサーチ(NAS)は,ニューラルアーキテクチャの自動設計において顕著な性能を達成している。 しかし,検索アーキテクチャの評価に伴う高い計算コストがこれらの手法の課題となり,学習率の固定化(LR)スケジュールは多様な検索アーキテクチャにおける情報損失を増大させる。 本稿では,これらの問題を革新的なメタラーニングフレームワークを用いて,効率的なEC-based NAS法を提案する。 具体的には、メタラーニングレート(Meta-LR)スキームを用いて事前訓練を行い、各個人を評価する際の学習過程を低い情報損失でガイドする適切なLRスケジュールを得る。 適応サロゲートモデルは適応しきい値を用いて設計され、いくつかのエポックで潜在的なアーキテクチャを選択し、完全なエポックで潜在的アーキテクチャを評価する。 さらに、集団の多様性を高めるために周期的突然変異演算子が提案され、一般化性と堅牢性を高める。 CIFAR-10, CIFAR-100, ImageNet1Kデータセットを用いた実験により, 提案手法は, 計算コストの低減とロバスト性の向上を図った。

関連論文リスト

• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• Heterogeneous Learning Rate Scheduling for Neural Architecture Search on Long-Tailed Datasets [0.0]
  本稿では,DARTSのアーキテクチャパラメータに適した適応学習率スケジューリング手法を提案する。 提案手法は,学習エポックに基づくアーキテクチャパラメータの学習率を動的に調整し,よく訓練された表現の破壊を防止する。
  論文  参考訳（メタデータ） (2024-06-11T07:32:25Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• Proxyless Neural Architecture Adaptation for Supervised Learning and Self-Supervised Learning [3.766702945560518]
  本稿では、再現性と効率のよいプロキシレスニューラルアーキテクチャ適応を提案する。 本手法は,教師付き学習と自己教師型学習の両方に適用できる。
  論文  参考訳（メタデータ） (2022-05-15T02:49:48Z)
• Improving Differentiable Architecture Search with a Generative Model [10.618008515822483]
  我々は、生成モデルを用いた微分可能なアーキテクチャ探索(DASGM)と呼ばれるトレーニング戦略を導入する。 DASGMでは、トレーニングセットを使用して分類モデルの重みを更新し、合成データセットを使用してアーキテクチャをトレーニングする。 生成された画像はトレーニングセットと異なる分布を持ち、分類モデルがその弱点を識別するためにより良い特徴を学ぶのに役立つ。
  論文  参考訳（メタデータ） (2021-11-30T23:28:02Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)
• Multi-fidelity Neural Architecture Search with Knowledge Distillation [69.09782590880367]
  ニューラルアーキテクチャ探索のためのベイズ的多重忠実度法 MF-KD を提案する。 知識蒸留は損失関数に追加され、ネットワークが教師ネットワークを模倣することを強制する用語となる。 このような変化した損失関数を持ついくつかのエポックに対するトレーニングは、ロジスティックな損失を持ついくつかのエポックに対するトレーニングよりも、より優れたニューラルアーキテクチャの選択につながることを示す。
  論文  参考訳（メタデータ） (2020-06-15T12:32:38Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。