論文の概要: GNAS: A Generalized Neural Network Architecture Search Framework

• arxiv url: http://arxiv.org/abs/2103.11820v1
• Date: Fri, 19 Mar 2021 06:51:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 14:50:25.568751
• Title: GNAS: A Generalized Neural Network Architecture Search Framework
• Title（参考訳）: GNAS: 汎用ニューラルネットワークアーキテクチャ検索フレームワーク
• Authors: Dige Ai
• Abstract要約: 実際には、nas(neural architecture search)のトレーニングで発生する問題は単純ではないが、いくつかの困難の組み合わせがしばしば直面する。 本論文では,NASの単一問題のみを解決するこれまでの研究の参考と改善を行い,それを実用的技術フローに組み合わせる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In practice, the problems encountered in training NAS (Neural Architecture Search) are not simplex, but a series of combinations of difficulties are often faced(incorrect compensation estimation, curse of dimension, overfitting, high complexity, etc.). From the point of view for solving practical problems, this paper makes reference and improvement to the previous researches which only solve the single problem of NAS, and combines them into a practical technology flow. This paper propose a framework that decouples the network structure from the search space for operators. We use two BOHBs(Bayesian Optimization Hyperband) to search alternately in the vast network structure and operator search space. And then, we trained a GCN-baesd predictor using the feedback of the child model. This approach takes care of the dimension curse while improving efficiency. Considering that activation function and initialization are also important components of neural network, and can affect the generalization ability of the model. This paper introduced an activation function and an initialization method domain, join them to the operator search space to form a generalized search space, thus improving the generalization ability of the child model. At last, We applied our framework to neural architecture search and achieved significant improvements on multiple datasets.
• Abstract（参考訳）: 実際には、NAS(Neural Architecture Search)のトレーニングで遭遇する問題は単純ではないが、難易度の組み合わせ(誤った補償推定、次元の呪い、過度な適合、高い複雑さなど)が直面することが多い。 そこで本研究では,NASの単一問題のみを解決し,実践的な技術の流れと組み合わせた従来の研究への参照と改善について述べる。 本稿では,演算子の探索空間からネットワーク構造を分離するフレームワークを提案する。 2つのBOHB(Bayesian Optimization Hyperband)を用いて、巨大なネットワーク構造と演算子探索空間を交互に探索する。 そして,児童モデルのフィードバックを用いて,GCN-baesd予測器を訓練した。 このアプローチは、効率を改善しながら次元の呪いを処理します。 活性化関数と初期化もニューラルネットワークの重要な構成要素であり、モデルの一般化能力に影響を与える可能性がある。 本稿では、アクティベーション関数と初期化メソッドドメインを導入し、演算子探索空間に結合して一般化された探索空間を形成し、子モデルの一般化能力を向上させる。 最後に、ニューラルネットワーク検索にフレームワークを適用し、複数のデータセットで大幅な改善を達成しました。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• Single Cell Training on Architecture Search for Image Denoising [16.72206392993489]
  コンポーネントブロックレベルに着目して最適な探索問題を再構成する。 さらに,空間的およびチャネル的ミスマッチを扱うための,革新的な次元マッチングモジュールを統合する。 提案したDenoising Prior Neural Architecture Search (DPNAS) は、1つのGPUで1日で画像復元タスクの最適なアーキテクチャ検索を完了させることで実証した。
  論文  参考訳（メタデータ） (2022-12-13T04:47:24Z)
• SuperNet in Neural Architecture Search: A Taxonomic Survey [14.037182039950505]
  このサーベイは、ウェイトシェアリングを使用して、すべてのアーキテクチャをサブモデルとして組み立てるニューラルネットワークを構築するスーパーネット最適化に焦点を当てている。 データ側最適化、低ランク相関緩和、多数のデプロイメントシナリオに対するトランスファー可能なNASなどです。
  論文  参考訳（メタデータ） (2022-04-08T08:29:52Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Making Differentiable Architecture Search less local [9.869449181400466]
  微分可能なニューラルネットワークアーキテクチャ検索(DARTS)は、検索効率を劇的に向上させる有望なNASアプローチである。 これは、検索がしばしば有害なアーキテクチャにつながるパフォーマンスの崩壊に苦しむことが示されています。 DARTS問題の定式化を変更することなく、空間をよりよく探索できる、よりグローバルな最適化スキームを開発する。
  論文  参考訳（メタデータ） (2021-04-21T10:36:43Z)
• Continuous Ant-Based Neural Topology Search [62.200941836913586]
  この研究は、アリコロニー最適化に基づく、自然に着想を得たニューラルアーキテクチャサーチ(NAS)アルゴリズムを導入している。 連続アントベースのニューラルトポロジーサーチ(CANTS)は、アリが現実世界でどのように動くかに強く影響を受けている。
  論文  参考訳（メタデータ） (2020-11-21T17:49:44Z)
• CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
  CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。 メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。 また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
  論文  参考訳（メタデータ） (2020-07-18T09:35:53Z)
• Scalable NAS with Factorizable Architectural Parameters [102.51428615447703]
  Neural Architecture Search (NAS)は、機械学習とコンピュータビジョンにおける新たなトピックである。 本稿では,多数の候補演算子をより小さな部分空間に分解することで,スケーラブルなアルゴリズムを提案する。 検索コストが少なめに増加し、再トレーニングに余分なコストがかからないため、これまで調査されなかった興味深いアーキテクチャが見つかる。
  論文  参考訳（メタデータ） (2019-12-31T10:26:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。