論文の概要: Generic Neural Architecture Search via Regression
- arxiv url: http://arxiv.org/abs/2108.01899v1
- Date: Wed, 4 Aug 2021 08:21:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-05 19:54:38.753373
- Title: Generic Neural Architecture Search via Regression
- Title（参考訳）: 回帰によるジェネリックニューラルアーキテクチャ検索
- Authors: Yuhong Li, Cong Hao, Pan Li, Jinjun Xiong, Deming Chen
- Abstract要約: 我々は、ジェネリックNAS(GenNAS)と呼ばれる新規で汎用的なニューラルアーキテクチャサーチ(NAS)フレームワークを提案する。
GenNASはタスク固有のラベルを使用せず、代わりに、アーキテクチャ評価のために手動で設計された合成信号基盤のセットにtextitregressionを採用する。
次に,下流タスク固有のラベルを用いた合成信号の組み合わせを最適化するタスクの自動探索を提案する。
- 参考スコア（独自算出の注目度）: 27.78105839644199
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most existing neural architecture search (NAS) algorithms are dedicated to
the downstream tasks, e.g., image classification in computer vision. However,
extensive experiments have shown that, prominent neural architectures, such as
ResNet in computer vision and LSTM in natural language processing, are
generally good at extracting patterns from the input data and perform well on
different downstream tasks. These observations inspire us to ask: Is it
necessary to use the performance of specific downstream tasks to evaluate and
search for good neural architectures? Can we perform NAS effectively and
efficiently while being agnostic to the downstream task? In this work, we
attempt to affirmatively answer the above two questions and improve the
state-of-the-art NAS solution by proposing a novel and generic NAS framework,
termed Generic NAS (GenNAS). GenNAS does not use task-specific labels but
instead adopts \textit{regression} on a set of manually designed synthetic
signal bases for architecture evaluation. Such a self-supervised regression
task can effectively evaluate the intrinsic power of an architecture to capture
and transform the input signal patterns, and allow more sufficient usage of
training samples. We then propose an automatic task search to optimize the
combination of synthetic signals using limited downstream-task-specific labels,
further improving the performance of GenNAS. We also thoroughly evaluate
GenNAS's generality and end-to-end NAS performance on all search spaces, which
outperforms almost all existing works with significant speedup.
- Abstract（参考訳）: 既存のニューラルアーキテクチャサーチ(NAS)アルゴリズムは、コンピュータビジョンにおける画像分類などの下流タスクに特化している。
しかし、コンピュータビジョンにおけるResNetや自然言語処理におけるLSTMのような顕著なニューラルネットワークアーキテクチャは、一般的に入力データからパターンを抽出し、異なる下流タスクでうまく機能することを示している。
優れたニューラルアーキテクチャの評価と探索のために、特定のダウンストリームタスクのパフォーマンスを使う必要がありますか?
下流タスクに非依存でありながら、NASを効果的かつ効率的に実行できますか?
本研究は,ジェネリックNAS(GenNAS)と呼ばれる新規で汎用的なNASフレームワークを提案することにより,上記の2つの疑問に肯定的に答え,最先端NASソリューションの改善を試みる。
GenNASはタスク固有のラベルを使用せず、代わりにアーキテクチャ評価のために手動で設計された合成信号ベースに \textit{regression} を採用する。
このような自己教師あり回帰タスクは、入力信号パターンをキャプチャして変換するアーキテクチャの固有能力を効果的に評価し、トレーニングサンプルをより十分な使用を可能にする。
次に,ダウンストリームタスク固有ラベルを用いた合成信号の組み合わせを最適化する自動タスク探索を提案し,gennaの性能をさらに向上させる。
我々はまた、すべての検索空間においてGenNASの汎用性とエンドツーエンドNAS性能を徹底的に評価する。
関連論文リスト
- Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search [5.1331676121360985]
我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。
類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
論文 参考訳（メタデータ） (2024-11-21T02:43:32Z) - DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - Efficacy of Neural Prediction-Based Zero-Shot NAS [0.04096453902709291]
ディープラーニングを用いたゼロショットニューラルアーキテクチャ探索(NAS)の新しい手法を提案する。
提案手法では,畳み込みカーネルを符号化した罪のフーリエ和を用いて,評価対象のアーキテクチャに類似した構造を持つ計算フィードフォワードグラフの構築を可能にする。
実験の結果,NAS-Bench-201データセットの相関関係から,グラフ畳み込みネットワークを用いた従来の手法よりも高い収束率を示すことがわかった。
論文 参考訳（メタデータ） (2023-08-31T14:54:06Z) - DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。
具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。
本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。
BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
論文 参考訳（メタデータ） (2023-05-26T13:58:18Z) - GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。
そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
論文 参考訳（メタデータ） (2023-05-15T12:44:54Z) - Generalization Properties of NAS under Activation and Skip Connection
Search [66.8386847112332]
ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。
我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。
トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
論文 参考訳（メタデータ） (2022-09-15T12:11:41Z) - UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。
これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。
NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
論文 参考訳（メタデータ） (2022-05-04T16:30:26Z) - Neural Architecture Search on ImageNet in Four GPU Hours: A
Theoretically Inspired Perspective [88.39981851247727]
トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。
TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。
1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
論文 参考訳（メタデータ） (2021-02-23T07:50:44Z) - Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。
我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。
KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
論文 参考訳（メタデータ） (2020-10-26T11:57:37Z) - BRP-NAS: Prediction-based NAS using GCNs [21.765796576990137]
BRP-NASは、グラフ畳み込みネットワーク(GCN)に基づく正確な性能予測によって実現された効率的なハードウェア対応NASである
提案手法はNAS-Bench-101とNAS-Bench-201の先行手法よりも優れていることを示す。
また、幅広いデバイスで動作するNAS-Bench-201モデルのレイテンシデータセットであるLatBenchもリリースしました。
論文 参考訳（メタデータ） (2020-07-16T21:58:43Z) - NAS-Bench-NLP: Neural Architecture Search Benchmark for Natural Language
Processing [12.02718579660613]
我々は自然言語処理(NLP)の中核である言語モデリングタスクを活用することで、コンピュータビジョン領域の外部へ踏み出す。
テキストデータセット上にリカレントニューラルネットワークの検索スペースを提供し、その内部に14kのアーキテクチャをトレーニングしました。
我々は,意味的関連性および言語理解評価のためのデータセットを用いて,訓練されたモデルの内在的および外在的評価を行った。
論文 参考訳（メタデータ） (2020-06-12T12:19:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。