論文の概要: Differentiable Neural Architecture Learning for Efficient Neural Network Design

• arxiv url: http://arxiv.org/abs/2103.02126v1
• Date: Wed, 3 Mar 2021 02:03:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-06 22:04:52.114523
• Title: Differentiable Neural Architecture Learning for Efficient Neural Network Design
• Title（参考訳）: ニューラルネットワーク設計のための微分可能なニューラルネットワーク学習
• Authors: Qingbei Guo and Xiao-Jun Wu and Josef Kittler and Zhiquan Feng
• Abstract要約: スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。 そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
• 参考スコア（独自算出の注目度）: 31.23038136038325
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Automated neural network design has received ever-increasing attention with the evolution of deep convolutional neural networks (CNNs), especially involving their deployment on embedded and mobile platforms. One of the biggest problems that neural architecture search (NAS) confronts is that a large number of candidate neural architectures are required to train, using, for instance, reinforcement learning and evolutionary optimisation algorithms, at a vast computation cost. Even recent differentiable neural architecture search (DNAS) samples a small number of candidate neural architectures based on the probability distribution of learned architecture parameters to select the final neural architecture. To address this computational complexity issue, we introduce a novel \emph{architecture parameterisation} based on scaled sigmoid function, and propose a general \emph{Differentiable Neural Architecture Learning} (DNAL) method to optimize the neural architecture without the need to evaluate candidate neural networks. Specifically, for stochastic supernets as well as conventional CNNs, we build a new channel-wise module layer with the architecture components controlled by a scaled sigmoid function. We train these neural network models from scratch. The network optimization is decoupled into the weight optimization and the architecture optimization. We address the non-convex optimization problem of neural architecture by the continuous scaled sigmoid method with convergence guarantees. Extensive experiments demonstrate our DNAL method delivers superior performance in terms of neural architecture search cost. The optimal networks learned by DNAL surpass those produced by the state-of-the-art methods on the benchmark CIFAR-10 and ImageNet-1K dataset in accuracy, model size and computational complexity.
• Abstract（参考訳）: ニューラルネットワークの自動設計は、ディープ畳み込みニューラルネットワーク(CNN)の進化、特に組み込みおよびモバイルプラットフォームへの展開によって、ますます注目を集めている。 ニューラルネットワークアーキテクチャサーチ(NAS)が直面する最大の問題の1つは、例えば強化学習と進化最適化アルゴリズムを使用して、膨大な計算コストでトレーニングするために、多数の候補ニューラルネットワークが必要であることである。 最近の微分可能ニューラルネットワーク検索(dnas)でさえ、学習したアーキテクチャパラメータの確率分布に基づいて少数の候補ニューラルネットワークをサンプリングし、最終的なニューラルアーキテクチャを選択する。 この計算複雑性問題に対処するため、スケールドシグモイド関数に基づく新しい \emph{Architecture parametersisation} を導入し、候補ニューラルネットワークを評価することなくニューラルネットワークを最適化するための一般的な \emph{Differentiable Neural Architecture Learning} (DNAL) 法を提案する。 具体的には、確率的スーパーネットや従来のCNNの場合、スケールドシグモイド関数によって制御されるアーキテクチャコンポーネントを備えた新しいチャネルワイズモジュール層を構築します。 これらのニューラルネットワークモデルをスクラッチからトレーニングします。 ネットワーク最適化は重み最適化とアーキテクチャ最適化に分離される。 コンバージェンス保証付き連続スケールドシグモイド法によるニューラルアーキテクチャの非凸最適化問題に対処します。 広範な実験により、DNAL法は神経アーキテクチャ検索コストにおいて優れた性能を発揮します。 DNALが学習した最適なネットワークは、CIFAR-10とImageNet-1Kのデータセットの精度、モデルサイズ、計算複雑性で最先端の手法によって生成されたものを上回る。

関連論文リスト

• Simultaneous Weight and Architecture Optimization for Neural Networks [6.2241272327831485]
  アーキテクチャとパラメータを勾配降下と同時に学習することで、プロセスを変換する新しいニューラルネットワークトレーニングフレームワークを導入する。 このアプローチの中心はマルチスケールエンコーダデコーダで、エンコーダは互いに近くにある同様の機能を持つニューラルネットワークのペアを埋め込む。 実験により、我々のフレームワークは、高性能を維持しているスパースでコンパクトなニューラルネットワークを発見できることを示した。
  論文  参考訳（メタデータ） (2024-10-10T19:57:36Z)
• Growing Tiny Networks: Spotting Expressivity Bottlenecks and Fixing Them Optimally [2.645067871482715]
  機械学習タスクでは、ある機能空間内で最適な関数を探索する。 この方法で、トレーニング中の機能の進化を、選択したアーキテクチャで表現可能な領域内に配置させます。 表現力のボトルネックによる望ましいアーキテクチャ変更に関する情報は, 後処理の % から抽出可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-30T08:23:56Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Neural Architecture Search using Particle Swarm and Ant Colony Optimization [0.0]
  本稿では,OpenNASのSwarm Intelligence (SI)コンポーネントを用いたCNNのトレーニングと最適化に焦点を当てる。 画像の分類において,OpenNAS(Neural Architecture Search)のオープンソースツールを統合するシステムを開発した。
  論文  参考訳（メタデータ） (2024-03-06T15:23:26Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
  本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。 我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。 ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-05-26T04:34:28Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。