論文の概要: Robust and Efficient Transfer Learning via Supernet Transfer in Warm-started Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2407.20279v1
- Date: Fri, 26 Jul 2024 00:17:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 19:18:14.287842
- Title: Robust and Efficient Transfer Learning via Supernet Transfer in Warm-started Neural Architecture Search
- Title（参考訳）: ワーム開始型ニューラルアーキテクチャ探索におけるスーパーネット転送によるロバストかつ効率的な伝達学習
- Authors: Prabhant Singh, Joaquin Vanschoren,
- Abstract要約: Neural Architecture Search (NAS)フレームワークは、AIの民主化を支援する有用な、人気のあるソリューションを提供する。
NASフレームワークは、しばしば計算コストがかかるため、適用性とアクセシビリティが制限される。
最適輸送やマルチデータセット保持に基づいて,事前学習したスーパーネットを効果的に転送できる新しいトランスファー学習手法を提案する。
- 参考スコア（独自算出の注目度）: 4.19475889117731
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hand-designing Neural Networks is a tedious process that requires significant expertise. Neural Architecture Search (NAS) frameworks offer a very useful and popular solution that helps to democratize AI. However, these NAS frameworks are often computationally expensive to run, which limits their applicability and accessibility. In this paper, we propose a novel transfer learning approach, capable of effectively transferring pretrained supernets based on Optimal Transport or multi-dataset pretaining. This method can be generally applied to NAS methods based on Differentiable Architecture Search (DARTS). Through extensive experiments across dozens of image classification tasks, we demonstrate that transferring pretrained supernets in this way can not only drastically speed up the supernet training which then finds optimal models (3 to 5 times faster on average), but even yield that outperform those found when running DARTS methods from scratch. We also observe positive transfer to almost all target datasets, making it very robust. Besides drastically improving the applicability of NAS methods, this also opens up new applications for continual learning and related fields.
- Abstract（参考訳）: 手作業で設計するニューラルネットワークは、かなりの専門知識を必要とする面倒なプロセスです。
Neural Architecture Search (NAS)フレームワークは、AIの民主化を支援する非常に有用な、人気のあるソリューションを提供する。
しかしながら、これらのNASフレームワークは、しばしば計算コストがかかるため、適用性とアクセシビリティが制限される。
本稿では,最適なトランスポートやマルチデータセット保持に基づいて,トレーニング済みのスーパーネットを効果的に転送できる新しいトランスファー学習手法を提案する。
この手法は、微分可能なアーキテクチャ探索(DARTS)に基づいてNAS法に適用できる。
何十もの画像分類タスクにわたる広範な実験を通して、この方法で事前訓練されたスーパーネットを転送することで、最適モデルが平均3倍から5倍高速になるようなスーパーネットトレーニングを劇的に高速化するだけでなく、DARTSメソッドをスクラッチから実行する場合よりも優れた結果が得られることを示した。
また、ほぼすべてのターゲットデータセットへの肯定的な転送も観察しており、非常に堅牢です。
また,NAS法の適用性を大幅に向上させるとともに,継続的な学習や関連分野への新たな応用も実現している。
関連論文リスト
- SiGeo: Sub-One-Shot NAS via Information Theory and Geometry of Loss
Landscape [14.550053893504764]
ゼロショットとワンショットNASの間のブリッジとして機能する"サブワンショット"パラダイムを導入する。
サブワンショットNASでは、スーパーネットはトレーニングデータの小さなサブセットのみを使用してトレーニングされる。
提案するプロキシは,スーパーネットウォームアップとプロキシの有効性を結びつける,新しい理論フレームワーク上に構築されたプロキシである。
論文 参考訳（メタデータ） (2023-11-22T05:25:24Z) - Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。
本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
論文 参考訳（メタデータ） (2023-05-26T14:00:35Z) - NASiam: Efficient Representation Learning using Neural Architecture
Search for Siamese Networks [76.8112416450677]
シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。
NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。
NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
論文 参考訳（メタデータ） (2023-01-31T19:48:37Z) - Warm-starting DARTS using meta-learning [4.035753155957698]
ニューラルネットワークサーチ(NAS)は、自動機械学習(AutoML)の分野で大きな可能性を秘めている。
微分可能アーキテクチャサーチ(DARTS)のためのメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-12T20:40:26Z) - Pi-NAS: Improving Neural Architecture Search by Reducing Supernet
Training Consistency Shift [128.32670289503025]
最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は,スーパーネット上で数十億のアーキテクチャを共存させ,その潜在的な精度を推定する。
アーキテクチャの予測精度と実際の能力のランキング相関は誤りであり、既存のNAS手法のジレンマを引き起こす。
このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因している。
この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。
論文 参考訳（メタデータ） (2021-08-22T09:08:48Z) - Neural Architecture Search on ImageNet in Four GPU Hours: A
Theoretically Inspired Perspective [88.39981851247727]
トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。
TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。
1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
論文 参考訳（メタデータ） (2021-02-23T07:50:44Z) - Direct Federated Neural Architecture Search [0.0]
本稿では,ハードウェアに依存せず,計算的に軽量な直接フェデレーションNASと,準備の整ったニューラルネットワークモデルを探すためのワンステージ手法を提案する。
以上の結果から, 従来技術の精度向上を図りながら, 資源消費の大幅な削減を図った。
論文 参考訳（メタデータ） (2020-10-13T08:11:35Z) - Revisiting Neural Architecture Search [0.0]
我々は、人間の努力を伴わずに完全なニューラルネットワークを探索する新しいアプローチを提案し、AutoML-nirvanaに一歩近づいた。
提案手法は,ニューラルネットワークにマッピングされた完全なグラフから始まり,探索空間の探索と利用のバランスをとることにより,接続と操作を探索する。
論文 参考訳（メタデータ） (2020-10-12T13:57:30Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳（メタデータ） (2020-09-08T15:51:23Z) - Neural Architecture Transfer [20.86857986471351]
既存のアプローチでは、ハードウェアまたは目的のデプロイメント仕様の完全な検索が1つ必要である。
この制限を克服するために、ニューラルネットワーク転送(NAT)を提案する。
NATは、複数の競合する目標の下で競合するタスク固有のカスタムモデルを効率的に生成するように設計されている。
論文 参考訳（メタデータ） (2020-05-12T15:30:36Z) - GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet [63.96959854429752]
GreedyNASは簡単に追跡でき、ImageNetデータセットの実験結果から、同じ検索空間とFLOPまたはレイテンシレベルにおいて、Top-1の精度が向上することが示された。
より大きなスペースを探索することで、GreedyNASは新たな最先端アーキテクチャも取得できます。
論文 参考訳（メタデータ） (2020-03-25T06:54:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。