論文の概要: CR-LSO: Convex Neural Architecture Optimization in the Latent Space of
Graph Variational Autoencoder with Input Convex Neural Networks
- arxiv url: http://arxiv.org/abs/2211.05950v1
- Date: Fri, 11 Nov 2022 01:55:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 15:40:12.379617
- Title: CR-LSO: Convex Neural Architecture Optimization in the Latent Space of
Graph Variational Autoencoder with Input Convex Neural Networks
- Title（参考訳）: CR-LSO:入力凸ニューラルネットを用いたグラフ変分オートエンコーダの潜時空間における凸ニューラルアーキテクチャ最適化
- Authors: Xuan Rao, Bo Zhao, Xiaosong Yi and Derong Liu
- Abstract要約: 潜時空間最適化(LSO)に基づくニューラルアーキテクチャ探索(NAS)法では、離散的ニューラルアーキテクチャを連続潜時空間に埋め込むために深層生成モデルを訓練する。
本稿では,空間の学習過程を正規化することを目的とした凸性アーキテクチャ正規化空間(CRLSO)法について述べる。
3つのNASベンチマークによる実験結果から,CR-LSOは計算複雑性と性能の両面で競合評価結果が得られることが示された。
- 参考スコア（独自算出の注目度）: 7.910915721525413
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In neural architecture search (NAS) methods based on latent space
optimization (LSO), a deep generative model is trained to embed discrete neural
architectures into a continuous latent space. In this case, different
optimization algorithms that operate in the continuous space can be implemented
to search neural architectures. However, the optimization of latent variables
is challenging for gradient-based LSO since the mapping from the latent space
to the architecture performance is generally non-convex. To tackle this
problem, this paper develops a convexity regularized latent space optimization
(CR-LSO) method, which aims to regularize the learning process of latent space
in order to obtain a convex architecture performance mapping. Specifically,
CR-LSO trains a graph variational autoencoder (G-VAE) to learn the continuous
representations of discrete architectures. Simultaneously, the learning process
of latent space is regularized by the guaranteed convexity of input convex
neural networks (ICNNs). In this way, the G-VAE is forced to learn a convex
mapping from the architecture representation to the architecture performance.
Hereafter, the CR-LSO approximates the performance mapping using the ICNN and
leverages the estimated gradient to optimize neural architecture
representations. Experimental results on three popular NAS benchmarks show that
CR-LSO achieves competitive evaluation results in terms of both computational
complexity and architecture performance.
- Abstract（参考訳）: 潜時空間最適化(LSO)に基づくニューラルアーキテクチャ探索(NAS)法では、離散的ニューラルアーキテクチャを連続潜時空間に埋め込むために深層生成モデルを訓練する。
この場合、連続空間で動作する異なる最適化アルゴリズムは、ニューラルネットワークを探索するために実装できる。
しかし、潜在空間からアーキテクチャ性能へのマッピングは一般的に凸でないため、勾配に基づくlsoでは潜在変数の最適化は困難である。
この問題に対処するために、凸アーキテクチャ性能マッピングを得るために、遅延空間の学習過程を正規化することを目的とした凸正則化潜時空間最適化法(CR-LSO)を開発した。
具体的には、CR-LSOは離散アーキテクチャの連続表現を学ぶためにグラフ変分オートエンコーダ(G-VAE)を訓練する。
同時に、入力凸ニューラルネットワーク(ICNN)の確実な凸性により、潜伏空間の学習プロセスが規則化される。
このようにして、G-VAEはアーキテクチャ表現からアーキテクチャ性能への凸写像を学習せざるを得ない。
その後、CR-LSOはICNNを用いて性能マッピングを近似し、推定勾配を利用してニューラルネットワーク表現を最適化する。
3つのNASベンチマークによる実験結果から,CR-LSOは計算複雑性とアーキテクチャ性能の両面での競合評価結果が得られることが示された。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。
本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。
我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
論文 参考訳（メタデータ） (2024-03-26T16:33:12Z) - An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture [0.0]
この研究は、与えられたトレーニングデータセットに対してうまく一般化するディープニューラルネットワーク(DNN)アーキテクチャを開発するための2段階適応フレームワークを提案する。
第1段階では、新しいレイヤを毎回追加し、前のレイヤでパラメータを凍結することで独立してトレーニングする、レイヤワイズトレーニングアプローチが採用されている。
本稿では, 学習アルゴリズムの望ましい特性として, エプシロン・デルタ安定促進の概念を導入し, 多様体正規化を用いることで, エプシロン・デルタ安定促進アルゴリズムが得られることを示す。
論文 参考訳（メタデータ） (2022-11-13T09:51:16Z) - Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。
標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。
サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
論文 参考訳（メタデータ） (2022-10-12T06:49:16Z) - iDARTS: Differentiable Architecture Search with Stochastic Implicit
Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。
暗黙の関数定理に基づいてDARTSの過次計算に取り組む。
提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文 参考訳（メタデータ） (2021-06-21T00:44:11Z) - Differentiable Neural Architecture Learning for Efficient Neural Network
Design [31.23038136038325]
スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。
そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
論文 参考訳（メタデータ） (2021-03-03T02:03:08Z) - Trilevel Neural Architecture Search for Efficient Single Image
Super-Resolution [127.92235484598811]
本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。
離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。
階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-17T12:19:49Z) - Smooth Variational Graph Embeddings for Efficient Neural Architecture
Search [41.62970837629573]
本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。
ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
論文 参考訳（メタデータ） (2020-10-09T17:05:41Z) - Neural Architecture Optimization with Graph VAE [21.126140965779534]
連続空間におけるネットワークアーキテクチャを最適化するための効率的なNAS手法を提案する。
フレームワークは、エンコーダ、パフォーマンス予測器、複雑性予測器、デコーダの4つのコンポーネントを共同で学習する。
論文 参考訳（メタデータ） (2020-06-18T07:05:48Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。