論文の概要: Siamese-NAS: Using Trained Samples Efficiently to Find Lightweight Neural Architecture by Prior Knowledge

• arxiv url: http://arxiv.org/abs/2210.00546v1
• Date: Sun, 2 Oct 2022 15:04:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 14:14:27.934345
• Title: Siamese-NAS: Using Trained Samples Efficiently to Find Lightweight Neural Architecture by Prior Knowledge
• Title（参考訳）: Siamese-NAS: 事前知識による軽量ニューラルネットワーク発見に有効なトレーニングサンプルの利用
• Authors: Yu-Ming Zhang, Jun-Wei Hsieh, Chun-Chieh Lee, Kuo-Chin Fan
• Abstract要約: 最近の研究で、Neural Predictorはトレーニングサンプルとしてトレーニングアーキテクチャがほとんどなく、大幅に改善されている。 本稿では,予測器を用いたNASの過去の研究に触発されて提案したシームズ予測器について述べる。 トレーニング手順に関する事前知識である推定符号を用いて構築される。 また,軽量CNNアーキテクチャのための検索空間Tiny-NanoBenchを提案する。
• 参考スコア（独自算出の注目度）: 6.117917355232904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the past decade, many architectures of convolution neural networks were designed by handcraft, such as Vgg16, ResNet, DenseNet, etc. They all achieve state-of-the-art level on different tasks in their time. However, it still relies on human intuition and experience, and it also takes so much time consumption for trial and error. Neural Architecture Search (NAS) focused on this issue. In recent works, the Neural Predictor has significantly improved with few training architectures as training samples. However, the sampling efficiency is already considerable. In this paper, our proposed Siamese-Predictor is inspired by past works of predictor-based NAS. It is constructed with the proposed Estimation Code, which is the prior knowledge about the training procedure. The proposed Siamese-Predictor gets significant benefits from this idea. This idea causes it to surpass the current SOTA predictor on NASBench-201. In order to explore the impact of the Estimation Code, we analyze the relationship between it and accuracy. We also propose the search space Tiny-NanoBench for lightweight CNN architecture. This well-designed search space is easier to find better architecture with few FLOPs than NASBench-201. In summary, the proposed Siamese-Predictor is a predictor-based NAS. It achieves the SOTA level, especially with limited computation budgets. It applied to the proposed Tiny-NanoBench can just use a few trained samples to find extremely lightweight CNN architecture.
• Abstract（参考訳）: 過去10年間、畳み込みニューラルネットワークの多くのアーキテクチャは、vgg16、resnet、drknetなど、ハンドクラフトによって設計された。 彼らはそれぞれ、異なるタスクにおける最先端のレベルを達成する。 しかし、それでも人間の直感と経験に依存しており、試行錯誤には多くの時間を要する。 neural architecture search (nas)はこの問題に焦点を当てた。 最近の研究で、Neural Predictorはトレーニングサンプルとしてトレーニングアーキテクチャがほとんどなく、大幅に改善されている。 しかし、サンプリング効率はすでにかなり高い。 本稿では,予測器を用いたNASの過去の研究から着想を得た。 トレーニング手順に関する事前知識である推定符号を用いて構築される。 提案されたシームズ・プレクタはこのアイデアから大きな恩恵を受ける。 このアイデアは、NASBench-201上の現在のSOTA予測器を超える。 推定コードの影響を調べるために,推定コードと精度の関係を分析する。 また,軽量CNNアーキテクチャのための検索空間Tiny-NanoBenchを提案する。 このよく設計された検索空間は、nasbench-201よりも少ないフロップでより良いアーキテクチャを見つけるのが容易である。 要約すると、提案されているシームズ予測器は予測器に基づくNASである。 SOTAレベル、特に計算予算が限られている。 提案されているTiny-NanoBenchに適用すると、いくつかのトレーニング済みサンプルを使用して、非常に軽量なCNNアーキテクチャを見つけることができる。

関連論文リスト

• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• PRE-NAS: Predictor-assisted Evolutionary Neural Architecture Search [34.06028035262884]
  我々は、新しい進化型NAS戦略、Predictor-assisted E-NAS(PRE-NAS)を提案する。 Pre-NASは新しい進化的探索戦略を活用し、世代ごとに高忠実度重みの継承を統合する。 NAS-Bench-201とDARTSの探索実験により、Pre-NASは最先端のNAS法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-04-27T06:40:39Z)
• AceNAS: Learning to Rank Ace Neural Architectures with Weak Supervision of Weight Sharing [6.171090327531059]
  空間から最高のアーキテクチャを選択するためのLearning to Rank手法を紹介します。 また,スーパーネットから得られた弱いラベルのアーキテクチャ表現を事前学習することで,重み共有から弱い管理を活用することを提案する。 NASベンチマークと大規模検索空間を用いた実験により,提案手法はSOTAよりも検索コストが大幅に削減された。
  論文  参考訳（メタデータ） (2021-08-06T08:31:42Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
  本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。 我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。 KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
  論文  参考訳（メタデータ） (2020-10-26T11:57:37Z)
• Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
  精度予測に非神経モデルを用いる別の手法について検討する。 我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。 NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
  論文  参考訳（メタデータ） (2020-07-09T13:28:49Z)
• Neural Architecture Search without Training [8.067283219068832]
  本研究では,未学習ネットワークにおけるデータポイント間のアクティベーションの重複について検討する。 ネットワークのトレーニングされたパフォーマンスを示すのに有用な指標を、どのように提供できるかを動機付けます。 この測度を単純なアルゴリズムに組み込むことで、単一のGPU上で数秒のトレーニングをすることなく、強力なネットワークを検索できるのです。
  論文  参考訳（メタデータ） (2020-06-08T14:53:56Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。