論文の概要: VINNAS: Variational Inference-based Neural Network Architecture Search
- arxiv url: http://arxiv.org/abs/2007.06103v5
- Date: Thu, 14 Jan 2021 21:26:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 05:10:52.982333
- Title: VINNAS: Variational Inference-based Neural Network Architecture Search
- Title（参考訳）: VINNAS: 変分推論に基づくニューラルネットワークアーキテクチャ探索
- Authors: Martin Ferianc, Hongxiang Fan and Miguel Rodrigues
- Abstract要約: スパース畳み込みニューラルネットワークを探索するための可変変分推論に基づくNAS法を提案する。
提案手法は,非ゼロパラメータの約2倍の精度で最先端の精度を示しながら,多様なネットワークセルを探索する。
- 参考スコア（独自算出の注目度）: 2.685668802278155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, neural architecture search (NAS) has received intensive
scientific and industrial interest due to its capability of finding a neural
architecture with high accuracy for various artificial intelligence tasks such
as image classification or object detection. In particular, gradient-based NAS
approaches have become one of the more popular approaches thanks to their
computational efficiency during the search. However, these methods often
experience a mode collapse, where the quality of the found architectures is
poor due to the algorithm resorting to choosing a single operation type for the
entire network, or stagnating at a local minima for various datasets or search
spaces.
To address these defects, we present a differentiable variational
inference-based NAS method for searching sparse convolutional neural networks.
Our approach finds the optimal neural architecture by dropping out candidate
operations in an over-parameterised supergraph using variational dropout with
automatic relevance determination prior, which makes the algorithm gradually
remove unnecessary operations and connections without risking mode collapse.
The evaluation is conducted through searching two types of convolutional cells
that shape the neural network for classifying different image datasets. Our
method finds diverse network cells, while showing state-of-the-art accuracy
with up to almost 2 times fewer non-zero parameters.
- Abstract（参考訳）: 近年,ニューラル・アーキテクチャ・サーチ(nas)は,画像分類や物体検出などのさまざまな人工知能タスクにおいて,精度の高いニューラル・アーキテクチャを探索する能力から,科学的・工業的な関心を集めている。
特に、勾配に基づくNASアプローチは、探索中の計算効率により、より一般的なアプローチの1つとなっている。
しかし、これらの手法は、ネットワーク全体の単一の操作タイプを選択することや、様々なデータセットや検索空間のローカルミニマで停止することに依存するアルゴリズムによって、発見されたアーキテクチャの品質が低下するモード崩壊をしばしば経験する。
これらの欠陥に対処するために、スパース畳み込みニューラルネットワークを探索するための可変変分推論に基づくNAS法を提案する。
提案手法は,パラメータの過大なスーパーグラフにおいて,自動帰属決定に先立って変動的ドロップアウトを用いて候補演算を外すことで最適なニューラルアーキテクチャを見いだし,モード崩壊を危険にさらすことなく,不要な操作や接続を徐々に除去する。
異なる画像データセットを分類するために、ニューラルネットワークを形成する2種類の畳み込みセルを探索して評価を行う。
提案手法は,非ゼロパラメータの約2倍の精度で最先端の精度を示しながら,多様なネットワークセルを探索する。
関連論文リスト
- A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - NAS-ASDet: An Adaptive Design Method for Surface Defect Detection
Network using Neural Architecture Search [5.640706784987607]
表面欠陥検出のためのネットワークを適応的に設計するためのNAS-ASDetと呼ばれる新しい手法を提案する。
まず、特徴分布を適応的に調整できる、洗練された業界に適した検索空間を設計する。
そして、より高速に探索空間を探索するために、深い監視機構を備えたプログレッシブ検索戦略を用いる。
論文 参考訳（メタデータ） (2023-11-18T03:15:45Z) - Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。
また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
論文 参考訳（メタデータ） (2023-08-28T12:55:13Z) - Precision Machine Learning [5.15188009671301]
様々な関数近似法を比較し,パラメータやデータの増加とともにスケールする方法について検討する。
ニューラルネットワークは、しばしば高次元の例において古典的近似法より優れていることが判明した。
我々は,ニューラルネットワークを極端に低損失に訓練する訓練手法を開発した。
論文 参考訳（メタデータ） (2022-10-24T17:58:30Z) - BayesFT: Bayesian Optimization for Fault Tolerant Neural Network
Architecture [8.005491953251541]
フォールトトレラントニューラルネットワークアーキテクチャ(BayesFT)のための新しいベイズ最適化手法を提案する。
我々のフレームワークは,画像分類や物体検出など,様々なタスクにおいて,最先端の手法を最大10倍に向上させてきた。
論文 参考訳（メタデータ） (2022-09-30T20:13:05Z) - D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。
セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
論文 参考訳（メタデータ） (2021-08-20T09:07:01Z) - Differentiable Neural Architecture Learning for Efficient Neural Network
Design [31.23038136038325]
スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。
そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
論文 参考訳（メタデータ） (2021-03-03T02:03:08Z) - Genetic U-Net: Automatically Designed Deep Networks for Retinal Vessel
Segmentation Using a Genetic Algorithm [2.6629444004809826]
遺伝的U-Netは、より優れた網膜血管セグメンテーションを実現することができるが、アーキテクチャに基づくパラメータが少ないU字型畳み込みニューラルネットワーク(CNN)を生成するために提案されている。
実験の結果,提案手法を用いて得られたアーキテクチャは,元のU-Netパラメータの1%以下で優れた性能を示した。
論文 参考訳（メタデータ） (2020-10-29T13:31:36Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳（メタデータ） (2020-05-29T09:02:16Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳（メタデータ） (2020-03-31T16:47:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。