論文の概要: Dynamic Ensemble of Low-fidelity Experts: Mitigating NAS "Cold-Start"
- arxiv url: http://arxiv.org/abs/2302.00932v1
- Date: Thu, 2 Feb 2023 08:22:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-03 14:58:14.229995
- Title: Dynamic Ensemble of Low-fidelity Experts: Mitigating NAS "Cold-Start"
- Title（参考訳）: 低忠実度専門家のダイナミックアンサンブル:NAS「コールドスタート」の緩和
- Authors: Junbo Zhao, Xuefei Ning, Enshu Liu, Binxin Ru, Zixuan Zhou, Tianchen
Zhao, Chen Chen, Jiajin Zhang, Qingmin Liao and Yu Wang
- Abstract要約: 我々は,予測学習における大規模データ要求を緩和するために,より安価かつ確実な性能推定(低忠実度情報)の情報を活用することに注力する。
2つのステップからなる新しい動的アンサンブル予測フレームワークを提案する。
全体予測器は、アーキテクチャパフォーマンスデータの小さなセットに最適化され、異なる低忠実度の専門家の知識を融合させ、最終的な予測を行う。
- 参考スコア（独自算出の注目度）: 27.01153123678012
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predictor-based Neural Architecture Search (NAS) employs an architecture
performance predictor to improve the sample efficiency. However,
predictor-based NAS suffers from the severe ``cold-start'' problem, since a
large amount of architecture-performance data is required to get a working
predictor. In this paper, we focus on exploiting information in
cheaper-to-obtain performance estimations (i.e., low-fidelity information) to
mitigate the large data requirements of predictor training. Despite the
intuitiveness of this idea, we observe that using inappropriate low-fidelity
information even damages the prediction ability and different search spaces
have different preferences for low-fidelity information types. To solve the
problem and better fuse beneficial information provided by different types of
low-fidelity information, we propose a novel dynamic ensemble predictor
framework that comprises two steps. In the first step, we train different
sub-predictors on different types of available low-fidelity information to
extract beneficial knowledge as low-fidelity experts. In the second step, we
learn a gating network to dynamically output a set of weighting coefficients
conditioned on each input neural architecture, which will be used to combine
the predictions of different low-fidelity experts in a weighted sum. The
overall predictor is optimized on a small set of actual
architecture-performance data to fuse the knowledge from different low-fidelity
experts to make the final prediction. We conduct extensive experiments across
five search spaces with different architecture encoders under various
experimental settings. Our method can easily be incorporated into existing
predictor-based NAS frameworks to discover better architectures.
- Abstract（参考訳）: 予測子に基づくニューラルアーキテクチャ探索(nas)は、サンプル効率を改善するためにアーキテクチャ性能予測器を用いる。
しかし,予測器をベースとしたNASは,動作予測器を得るために大量のアーキテクチャ性能データを必要とするため,深刻な「コールドスタート」問題に悩まされている。
本稿では,予測者訓練の大規模データ要求を軽減すべく,より安価な性能推定(すなわち低忠実度情報)における情報活用に焦点をあてる。
この考え方の直感的さにもかかわらず、不適切な低忠実度情報を使うことは予測能力を損なうことすらあり、異なる検索空間は低忠実度情報タイプに対する好みが異なることが観察される。
そこで本稿では,2つのステップからなる新しい動的アンサンブル予測フレームワークを提案する。
最初のステップでは、異なる種類の低忠実度情報に基づいて異なるサブ予測器を訓練し、低忠実度の専門家として有益な知識を抽出する。
第2のステップでは、各入力ニューラルネットワークで条件付けられた重み付け係数のセットを動的に出力するゲーティングネットワークを学習し、異なる低忠実度専門家の予測を重み付け和で組み合わせる。
全体予測器は、アーキテクチャパフォーマンスデータの小さなセットに最適化され、異なる低忠実度の専門家の知識を融合して最終的な予測を行う。
様々な実験環境において,異なるアーキテクチャエンコーダを用いた5つの検索空間で広範な実験を行う。
提案手法は,既存の予測器ベースのNASフレームワークに容易に組み込んで,より優れたアーキテクチャを発見することができる。
関連論文リスト
- Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳（メタデータ） (2023-12-03T13:50:24Z) - AIO-P: Expanding Neural Performance Predictors Beyond Image
Classification [22.743278613519152]
アーキテクチャの例でニューラルネットワーク予測器を事前訓練するための新しいオールインワン予測器(AIO-P)を提案する。
AIO-Pは平均絶対誤差(MAE)とスピアマンランク相関(SRCC)をそれぞれ1%以下と0.5以上で達成できる。
論文 参考訳（メタデータ） (2022-11-30T18:30:41Z) - SCAI: A Spectral data Classification framework with Adaptive Inference
for the IoT platform [0.0]
適応推論を用いたスペクトルデータ分類フレームワークを提案する。
具体的には、異なるデバイス間のコラボレーションをよりよく活用しながら、異なるサンプルに対して異なる計算を割り当てる。
我々の知る限り、この論文はIoTプラットフォーム下でのスペクトル検出のための適応推論による最適化を行うための最初の試みである。
論文 参考訳（メタデータ） (2022-06-24T09:22:52Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture
Search [85.84110365657455]
本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。
NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
論文 参考訳（メタデータ） (2022-03-03T11:47:14Z) - IQNAS: Interpretable Integer Quadratic Programming Neural Architecture
Search [40.77061519007659]
適合ネットワークを見つけるための一般的なアプローチは、制約付きニューラルネットワークサーチ(NAS)である。
従来はネットワークの精度に複雑な予測器を使用していた。
IQNAS (Interpretable Quadratic Programming Neural Architecture Search) を導入する。
論文 参考訳（メタデータ） (2021-10-24T09:45:00Z) - Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。
私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。
NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-02-21T01:58:43Z) - Smooth Variational Graph Embeddings for Efficient Neural Architecture
Search [41.62970837629573]
本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。
ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
論文 参考訳（メタデータ） (2020-10-09T17:05:41Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳（メタデータ） (2020-06-18T08:23:02Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。