論文の概要: Traditional and accelerated gradient descent for neural architecture search

• arxiv url: http://arxiv.org/abs/2006.15218v3
• Date: Sun, 14 Feb 2021 03:26:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 20:37:27.770682
• Title: Traditional and accelerated gradient descent for neural architecture search
• Title（参考訳）: ニューラルアーキテクチャ探索のための伝統的・加速勾配降下法
• Authors: Nicolas Garcia Trillos, Felix Morales, Javier Morales
• Abstract要約: ニューラルアーキテクチャ探索のための2つのアルゴリズム(NASGDとNASAGD)を紹介する。 我々のアルゴリズムはヒルクライミングの手法の40倍のアーキテクチャを解析できる。 例えば、CIFAR-10上でNASGDを使用することで、1つのGPUでわずか12時間でエラー率4.06のネットワークを設計・訓練する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we introduce two algorithms for neural architecture search (NASGD and NASAGD) following the theoretical work by two of the authors [5] which used the geometric structure of optimal transport to introduce the conceptual basis for new notions of traditional and accelerated gradient descent algorithms for the optimization of a function on a semi-discrete space. Our algorithms, which use the network morphism framework introduced in [2] as a baseline, can analyze forty times as many architectures as the hill climbing methods [2, 14] while using the same computational resources and time and achieving comparable levels of accuracy. For example, using NASGD on CIFAR-10, our method designs and trains networks with an error rate of 4.06 in only 12 hours on a single GPU.
• Abstract（参考訳）: 本稿では,2つのニューラルネットワーク探索アルゴリズム (NASGD と NASAGD) を紹介し,[5] の著者の幾何学的構造を用いて,半離散空間上の関数の最適化のための従来の勾配勾配勾配アルゴリズムの概念的基礎を導入する。 我々のアルゴリズムは、[2]で導入されたネットワーク同型フレームワークをベースラインとして使用し、同じ計算資源と時間を使いながら、ヒルクライミング手法 [2, 14] の40倍のアーキテクチャを分析し、同等の精度を達成することができる。 例えば、CIFAR-10上でNASGDを使用することで、1つのGPUでわずか12時間でエラー率4.06のネットワークを設計・訓練する。

関連論文リスト

• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Continual Spatio-Temporal Graph Convolutional Networks [87.86552250152872]
  時空間グラフ畳み込みニューラルネットワークを連続推論ネットワークとして再構成する。 オンライン推論において、最大109倍の時間複雑性、26倍のハードウェアアクセラレーション、最大割り当てメモリの最大52%の削減を観測した。
  論文  参考訳（メタデータ） (2022-03-21T14:23:18Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• A Novel Framework for Neural Architecture Search in the Hill Climbing Domain [2.729898906885749]
  ヒルクライミング手法に基づくニューラルアーキテクチャ探索のための新しいフレームワークを提案する。 単一のGPUトレーニングの19.4時間でCIFAR-10データセットの4.96%のエラー率を達成した。
  論文  参考訳（メタデータ） (2021-02-22T04:34:29Z)
• Progressive Spatio-Temporal Graph Convolutional Network for Skeleton-Based Human Action Recognition [97.14064057840089]
  本稿では,グラフ畳み込みネットワークのためのコンパクトで問題固有のネットワークを,段階的に自動的に見つける手法を提案する。 骨格に基づく人体行動認識のための2つのデータセットの実験結果から,提案手法は競争力あるいはより優れた分類性能を有することが示された。
  論文  参考訳（メタデータ） (2020-11-11T09:57:49Z)
• Smooth Variational Graph Embeddings for Efficient Neural Architecture Search [41.62970837629573]
  本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。 ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:05:41Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Neural Architecture Optimization with Graph VAE [21.126140965779534]
  連続空間におけるネットワークアーキテクチャを最適化するための効率的なNAS手法を提案する。 フレームワークは、エンコーダ、パフォーマンス予測器、複雑性予測器、デコーダの4つのコンポーネントを共同で学習する。
  論文  参考訳（メタデータ） (2020-06-18T07:05:48Z)
• Run-time Mapping of Spiking Neural Networks to Neuromorphic Hardware [0.44446524844395807]
  本研究では、オンライン学習SNNベースのアプリケーションのニューロンとシナプスを、実行時にニューロモルフィックアーキテクチャに分割し、マッピングする設計手法を提案する。 提案アルゴリズムは, 設計時間に基づくSNN分割手法と比較して, ソリューション品質が6.25%低いSNNマッピング時間を平均780倍に削減する。
  論文  参考訳（メタデータ） (2020-06-11T19:56:55Z)
• The duality structure gradient descent algorithm: analysis and applications to neural networks [0.0]
  本稿では,非漸近的性能解析に寄与する双対構造勾配降下法(DSGD)を提案する。 いくつかのニューラルネットワークトレーニングシナリオにおいて,DSGDの動作を実証的に示す。
  論文  参考訳（メタデータ） (2017-08-01T21:24:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。