論文の概要: Differentiable Neural Architecture Transformation for Reproducible Architecture Improvement

• arxiv url: http://arxiv.org/abs/2006.08231v1
• Date: Mon, 15 Jun 2020 09:03:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 02:32:30.187157
• Title: Differentiable Neural Architecture Transformation for Reproducible Architecture Improvement
• Title（参考訳）: 再現可能なアーキテクチャ改善のための微分可能なニューラルアーキテクチャ変換
• Authors: Do-Guk Kim, Heung-Chang Lee
• Abstract要約: 再現可能で効率のよい、微分可能なニューラルアーキテクチャ変換を提案する。 CIFAR-10とTiny Imagenetの2つのデータセットに対する大規模な実験により、提案手法はNATよりも確実に優れていることが示された。
• 参考スコア（独自算出の注目度）: 3.766702945560518
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Neural Architecture Search (NAS) methods are introduced and show impressive performance on many benchmarks. Among those NAS studies, Neural Architecture Transformer (NAT) aims to improve the given neural architecture to have better performance while maintaining computational costs. However, NAT has limitations about a lack of reproducibility. In this paper, we propose differentiable neural architecture transformation that is reproducible and efficient. The proposed method shows stable performance on various architectures. Extensive reproducibility experiments on two datasets, i.e., CIFAR-10 and Tiny Imagenet, present that the proposed method definitely outperforms NAT and be applicable to other models and datasets.
• Abstract（参考訳）: 近年,neural architecture search (nas)法が導入され,多くのベンチマークで印象的な性能を示す。 これらのNAS研究の中で、NAT(Neural Architecture Transformer)は、計算コストを維持しながらパフォーマンスを向上させるために、与えられたニューラルアーキテクチャを改善することを目的としている。 しかし、NATには再現性の欠如に関する制限がある。 本稿では,再現性と効率のよい識別可能なニューラルアーキテクチャ変換を提案する。 提案手法は,各種アーキテクチャ上での安定した性能を示す。 CIFAR-10とTiny Imagenetの2つのデータセットに対する大規模な再現性実験は、提案手法がNATよりも優れ、他のモデルやデータセットに適用可能であることを示唆している。

関連論文リスト

• Proxyless Neural Architecture Adaptation for Supervised Learning and Self-Supervised Learning [3.766702945560518]
  本稿では、再現性と効率のよいプロキシレスニューラルアーキテクチャ適応を提案する。 本手法は,教師付き学習と自己教師型学習の両方に適用できる。
  論文  参考訳（メタデータ） (2022-05-15T02:49:48Z)
• Learning Interpretable Models Through Multi-Objective Neural Architecture Search [0.9990687944474739]
  本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。 タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
  論文  参考訳（メタデータ） (2021-12-16T05:50:55Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• Homogeneous Architecture Augmentation for Neural Predictor [13.35821898997164]
  ニューラル・アーキテクチャ・サーチ(NAS)は、手前のタスクのためにディープ・ニューラル・ニューラルネットワーク(DNN)の優れたアーキテクチャを自動で設計することができる。 NASのボトルネックの1つは、高価な性能評価のため、計算コストである。 その人気にもかかわらず、それらは、神経予測器を効果的に訓練するための注釈付きDNNアーキテクチャの不足という、深刻な制限を被っている。
  論文  参考訳（メタデータ） (2021-07-28T03:46:33Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Towards Accurate and Compact Architectures via Neural Architecture Transformer [95.4514639013144]
  計算コストを増すことなくパフォーマンスを向上させるために、アーキテクチャ内の操作を最適化する必要がある。 我々は最適化問題をマルコフ決定プロセス(MDP)にキャストするニューラルアーキテクチャ変換器(NAT)法を提案している。 NAT++(Neural Architecture Transformer++)メソッドを提案し、アーキテクチャ最適化のパフォーマンスを改善するために、候補遷移のセットをさらに拡大する。
  論文  参考訳（メタデータ） (2021-02-20T09:38:10Z)
• Smooth Variational Graph Embeddings for Efficient Neural Architecture Search [41.62970837629573]
  本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。 ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:05:41Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。