論文の概要: Differentiable Neural Architecture Search with Morphism-based Transformable Backbone Architectures

• arxiv url: http://arxiv.org/abs/2106.07211v1
• Date: Mon, 14 Jun 2021 07:56:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:08:28.716982
• Title: Differentiable Neural Architecture Search with Morphism-based Transformable Backbone Architectures
• Title（参考訳）: モーフィズムに基づく変形可能なバックボーンアーキテクチャを用いた微分可能なニューラルアーキテクチャ探索
• Authors: Renlong Jie and Junbin Gao
• Abstract要約: 本研究の目的は,ワンショットトレーニングやオンライントレーニングにアーキテクチャ検索プロセスをより適応させることである。 ネットワークアソシエーションに基づいた、微分可能なニューラルアーキテクチャ探索のための成長メカニズムを導入している。 また、リカレントニューラルネットワークのための最近提案された2入力バックボーンアーキテクチャを実装した。
• 参考スコア（独自算出の注目度）: 35.652234989200956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study aims at making the architecture search process more adaptive for one-shot or online training. It is extended from the existing study on differentiable neural architecture search, and we made the backbone architecture transformable rather than fixed during the training process. As is known, differentiable neural architecture search (DARTS) requires a pre-defined over-parameterized backbone architecture, while its size is to be determined manually. Also, in DARTS backbone, Hadamard product of two elements is not introduced, which exists in both LSTM and GRU cells for recurrent nets. This study introduces a growing mechanism for differentiable neural architecture search based on network morphism. It enables growing of the cell structures from small size towards large size ones with one-shot training. Two modes can be applied in integrating the growing and original pruning process. We also implement a recently proposed two-input backbone architecture for recurrent neural networks. Initial experimental results indicate that our approach and the two-input backbone structure can be quite effective compared with other baseline architectures including LSTM, in a variety of learning tasks including multi-variate time series forecasting and language modeling. On the other hand, we find that dynamic network transformation is promising in improving the efficiency of differentiable architecture search.
• Abstract（参考訳）: 本研究の目的は,アーキテクチャ検索プロセスをワンショットやオンライントレーニングに適応させることである。 既存のニューラルネットワーク探索研究から拡張され、トレーニングプロセス中に固定されるのではなく、バックボーンアーキテクチャを変換可能にしました。 既知のように、微分可能なニューラルネットワーク検索(darts)は事前定義されたオーバーパラメータのバックボーンアーキテクチャを必要とするが、サイズは手動で決定する必要がある。 また、DARTSのバックボーンでは、2つの元素のアダマール生成物は導入されず、LSTM細胞とGRU細胞の両方に存在する。 本研究では,ネットワーク・アモルファスに基づく微分可能なニューラルネットワーク探索のための成長メカニズムを提案する。 細胞構造を小さなサイズから大きなサイズまで、ワンショットトレーニングで成長させることができる。 成長およびオリジナルプルーニングプロセスの統合には2つのモードが適用できる。 また,最近提案されている再帰ニューラルネットワークのための2入力バックボーンアーキテクチャを実装した。 最初の実験結果から,多変量時系列予測や言語モデリングなどの学習タスクにおいて,LSTMを含む他のベースラインアーキテクチャと比較して,我々のアプローチと2入力バックボーン構造は極めて効果的であることが示唆された。 一方、動的ネットワーク変換は、微分可能なアーキテクチャ探索の効率を改善する上で有望であることがわかった。

関連論文リスト

• EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
  眼球運動バイオメトリックスは、高い安全性の識別により注目されている。 深層学習(DL)モデルは近年,眼球運動認識に成功している。 DLアーキテクチャはまだ人間の事前知識によって決定されている。 眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:11:08Z)
• HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search [104.45426861115972]
  設計したハイパーカーネルを利用して,構造パラメータを直接生成することを提案する。 我々は1次元または3次元の畳み込みを伴う画素レベルの分類と画像レベルの分類を別々に行う3種類のネットワークを得る。 6つの公開データセットに関する一連の実験は、提案手法が最先端の結果を得ることを示した。
  論文  参考訳（メタデータ） (2023-04-23T17:27:40Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Learning Interpretable Models Through Multi-Objective Neural Architecture Search [0.9990687944474739]
  本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。 タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
  論文  参考訳（メタデータ） (2021-12-16T05:50:55Z)
• Conceptual Expansion Neural Architecture Search (CENAS) [1.3464152928754485]
  概念拡張ニューラルアーキテクチャサーチ(CENAS)という手法を提案する。 サンプル効率が高く、計算的創造性にインスパイアされたトランスファーラーニングアプローチとニューラルアーキテクチャサーチを組み合わせたものだ。 新しいモデルのパラメータを近似するために、既存の重みを転送することで、素早いアーキテクチャ探索よりも高速なモデルを見つける。
  論文  参考訳（メタデータ） (2021-10-07T02:29:26Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• Neural Architecture Search based on Cartesian Genetic Programming Coding Method [6.519170476143571]
  文分類課題を解決するために,CGPに基づくNASの進化的アプローチであるCGPNASを提案する。 実験の結果,検索されたアーキテクチャは人間設計アーキテクチャの性能に匹敵することがわかった。
  論文  参考訳（メタデータ） (2021-03-12T09:51:03Z)
• SAR-NAS: Skeleton-based Action Recognition via Neural Architecture Searching [18.860051578038608]
  スケルトンベースのアクションインスタンスをテンソルにエンコードし、正常細胞と還元細胞という2種類のネットワーク細胞を構築するための一連の操作を定義する。 NTU RGB+DとKinecticsのデータセットに挑戦する実験では、骨格に基づく行動認識のために開発されたネットワークのほとんどは、コンパクトで効率的なものではないことが確認された。 提案手法は,最先端の手法よりも比較や性能の向上が可能な,そのようなコンパクトなネットワークを探索する手法を提供する。
  論文  参考訳（メタデータ） (2020-10-29T03:24:15Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。