論文の概要: CR-LSO: Convex Neural Architecture Optimization in the Latent Space of
Graph Variational Autoencoder with Input Convex Neural Networks
- arxiv url: http://arxiv.org/abs/2211.05950v1
- Date: Fri, 11 Nov 2022 01:55:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 15:40:12.379617
- Title: CR-LSO: Convex Neural Architecture Optimization in the Latent Space of
Graph Variational Autoencoder with Input Convex Neural Networks
- Title(参考訳): CR-LSO:入力凸ニューラルネットを用いたグラフ変分オートエンコーダの潜時空間における凸ニューラルアーキテクチャ最適化
- Authors: Xuan Rao, Bo Zhao, Xiaosong Yi and Derong Liu
- Abstract要約: 潜時空間最適化(LSO)に基づくニューラルアーキテクチャ探索(NAS)法では、離散的ニューラルアーキテクチャを連続潜時空間に埋め込むために深層生成モデルを訓練する。
本稿では,空間の学習過程を正規化することを目的とした凸性アーキテクチャ正規化空間(CRLSO)法について述べる。
3つのNASベンチマークによる実験結果から,CR-LSOは計算複雑性と性能の両面で競合評価結果が得られることが示された。
- 参考スコア(独自算出の注目度): 7.910915721525413
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In neural architecture search (NAS) methods based on latent space
optimization (LSO), a deep generative model is trained to embed discrete neural
architectures into a continuous latent space. In this case, different
optimization algorithms that operate in the continuous space can be implemented
to search neural architectures. However, the optimization of latent variables
is challenging for gradient-based LSO since the mapping from the latent space
to the architecture performance is generally non-convex. To tackle this
problem, this paper develops a convexity regularized latent space optimization
(CR-LSO) method, which aims to regularize the learning process of latent space
in order to obtain a convex architecture performance mapping. Specifically,
CR-LSO trains a graph variational autoencoder (G-VAE) to learn the continuous
representations of discrete architectures. Simultaneously, the learning process
of latent space is regularized by the guaranteed convexity of input convex
neural networks (ICNNs). In this way, the G-VAE is forced to learn a convex
mapping from the architecture representation to the architecture performance.
Hereafter, the CR-LSO approximates the performance mapping using the ICNN and
leverages the estimated gradient to optimize neural architecture
representations. Experimental results on three popular NAS benchmarks show that
CR-LSO achieves competitive evaluation results in terms of both computational
complexity and architecture performance.
- Abstract(参考訳): 潜時空間最適化(LSO)に基づくニューラルアーキテクチャ探索(NAS)法では、離散的ニューラルアーキテクチャを連続潜時空間に埋め込むために深層生成モデルを訓練する。
この場合、連続空間で動作する異なる最適化アルゴリズムは、ニューラルネットワークを探索するために実装できる。
しかし、潜在空間からアーキテクチャ性能へのマッピングは一般的に凸でないため、勾配に基づくlsoでは潜在変数の最適化は困難である。
この問題に対処するために、凸アーキテクチャ性能マッピングを得るために、遅延空間の学習過程を正規化することを目的とした凸正則化潜時空間最適化法(CR-LSO)を開発した。
具体的には、CR-LSOは離散アーキテクチャの連続表現を学ぶためにグラフ変分オートエンコーダ(G-VAE)を訓練する。
同時に、入力凸ニューラルネットワーク(ICNN)の確実な凸性により、潜伏空間の学習プロセスが規則化される。
このようにして、G-VAEはアーキテクチャ表現からアーキテクチャ性能への凸写像を学習せざるを得ない。
その後、CR-LSOはICNNを用いて性能マッピングを近似し、推定勾配を利用してニューラルネットワーク表現を最適化する。
3つのNASベンチマークによる実験結果から,CR-LSOは計算複雑性とアーキテクチャ性能の両面での競合評価結果が得られることが示された。
関連論文リスト
- Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。
標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。
サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
論文 参考訳(メタデータ) (2022-10-12T06:49:16Z) - Learning Interpretable Models Through Multi-Objective Neural
Architecture Search [0.9990687944474739]
本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。
タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
論文 参考訳(メタデータ) (2021-12-16T05:50:55Z) - iDARTS: Differentiable Architecture Search with Stochastic Implicit
Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。
暗黙の関数定理に基づいてDARTSの過次計算に取り組む。
提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文 参考訳(メタデータ) (2021-06-21T00:44:11Z) - Differentiable Neural Architecture Learning for Efficient Neural Network
Design [31.23038136038325]
スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。
そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
論文 参考訳(メタデータ) (2021-03-03T02:03:08Z) - Trilevel Neural Architecture Search for Efficient Single Image
Super-Resolution [127.92235484598811]
本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。
離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。
階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-01-17T12:19:49Z) - Smooth Variational Graph Embeddings for Efficient Neural Architecture
Search [41.62970837629573]
本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。
ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
論文 参考訳(メタデータ) (2020-10-09T17:05:41Z) - Off-Policy Reinforcement Learning for Efficient and Effective GAN
Architecture Search [50.40004966087121]
本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。
鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。
我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
論文 参考訳(メタデータ) (2020-07-17T18:29:17Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳(メタデータ) (2020-06-18T08:23:02Z) - Neural Architecture Optimization with Graph VAE [21.126140965779534]
連続空間におけるネットワークアーキテクチャを最適化するための効率的なNAS手法を提案する。
フレームワークは、エンコーダ、パフォーマンス予測器、複雑性予測器、デコーダの4つのコンポーネントを共同で学習する。
論文 参考訳(メタデータ) (2020-06-18T07:05:48Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳(メタデータ) (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。