論文の概要: An algorithmic framework for the optimization of deep neural networks architectures and hyperparameters

• arxiv url: http://arxiv.org/abs/2303.12797v2
• Date: Tue, 14 May 2024 07:37:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 20:09:59.365117
• Title: An algorithmic framework for the optimization of deep neural networks architectures and hyperparameters
• Title（参考訳）: ディープニューラルネットワークアーキテクチャとハイパーパラメータの最適化のためのアルゴリズムフレームワーク
• Authors: Julie Keisler, El-Ghazali Talbi, Sandra Claudel, Gilles Cabriel,
• Abstract要約: 本稿では,効率的なディープニューラルネットワークを自動生成するアルゴリズムフレームワークを提案する。 このフレームワークは、進化的有向非巡回グラフ(DAG)に基づいている。 畳み込み(convolutions)、再帰(recurrentence)、密集層( dense layer)といった古典的な操作の混合を可能にするだけでなく、自己注意(self-attention)のようなより新しい操作も可能である。
• 参考スコア（独自算出の注目度）: 0.23301643766310373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose an algorithmic framework to automatically generate efficient deep neural networks and optimize their associated hyperparameters. The framework is based on evolving directed acyclic graphs (DAGs), defining a more flexible search space than the existing ones in the literature. It allows mixtures of different classical operations: convolutions, recurrences and dense layers, but also more newfangled operations such as self-attention. Based on this search space we propose neighbourhood and evolution search operators to optimize both the architecture and hyper-parameters of our networks. These search operators can be used with any metaheuristic capable of handling mixed search spaces. We tested our algorithmic framework with an evolutionary algorithm on a time series prediction benchmark. The results demonstrate that our framework was able to find models outperforming the established baseline on numerous datasets.
• Abstract（参考訳）: 本稿では,効率的なディープニューラルネットワークを自動生成し,関連するハイパーパラメータを最適化するアルゴリズムフレームワークを提案する。 このフレームワークは、進化する有向非巡回グラフ(DAG)に基づいており、文献の既存のグラフよりも柔軟な検索空間を定義する。 畳み込み(convolutions)、再帰(recurrentence)、密集層( dense layer)といった古典的な操作の混合を可能にするだけでなく、自己注意(self-attention)のようなより新しい操作も可能である。 この探索空間に基づいて、ネットワークのアーキテクチャとハイパーパラメータの両方を最適化するために、近隣と進化の探索演算子を提案する。 これらの探索演算子は、混合探索空間を扱えるメタヒューリスティックで使用することができる。 時系列予測ベンチマークにおいて,進化的アルゴリズムを用いてアルゴリズムの枠組みを検証した。 その結果,本フレームワークは,多数のデータセット上で確立されたベースラインよりも優れたモデルを見出すことができた。

関連論文リスト

• An automatic selection of optimal recurrent neural network architecture for processes dynamics modelling purposes [0.0]
  この研究には、ニューラルネットワークアーキテクチャ検索専用のアルゴリズムの提案が4つ含まれている。 アルゴリズムは進化的アルゴリズムや勾配降下法のようなよく知られた最適化手法に基づいている。 この研究は、加圧水型原子炉で発生した高速過程の数学的モデルから生成されたデータに基づく、拡張された検証研究を含む。
  論文  参考訳（メタデータ） (2023-09-25T11:06:35Z)
• HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search [104.45426861115972]
  設計したハイパーカーネルを利用して,構造パラメータを直接生成することを提案する。 我々は1次元または3次元の畳み込みを伴う画素レベルの分類と画像レベルの分類を別々に行う3種類のネットワークを得る。 6つの公開データセットに関する一連の実験は、提案手法が最先端の結果を得ることを示した。
  論文  参考訳（メタデータ） (2023-04-23T17:27:40Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks [15.740179244963116]
  GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。 本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。 我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-16T13:27:30Z)
• Dynamic Sparse Training: Find Efficient Sparse Network From Scratch With Trainable Masked Layers [18.22501196339569]
  本稿では、最適ネットワークパラメータとスパースネットワーク構造を共同で見つけることのできる、動的スパーストレーニングと呼ばれる新しいネットワークプルーニングアルゴリズムを提案する。 我々の動的スパーストレーニングアルゴリズムは、非常にスパースなニューラルネットワークモデルを性能損失が少なく容易に訓練できることを実証する。
  論文  参考訳（メタデータ） (2020-05-14T11:05:21Z)
• Multi-layer local optima networks for the analysis of advanced local search-based algorithms [0.6299766708197881]
  ローカルオプティマスネットワーク(Local Optima Network, LON)は、特定の近傍演算子と局所探索アルゴリズムに基づいて、特定の最適化問題のフィットネスランドスケープを圧縮するグラフモデルである。 本稿では、多層LONの概念と、フィットネスランドスケープ分析のためのメトリクス抽出を目的としたこれらのモデルを探索するための方法論を提案する。
  論文  参考訳（メタデータ） (2020-04-29T03:20:01Z)
• Sampled Training and Node Inheritance for Fast Evolutionary Neural Architecture Search [22.483917379706725]
  進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムの魅力的なグローバル最適化能力のために注目を集めている。 本稿では,学習データの各ミニバッチに対して,両親がランダムにサンプルを採取し,訓練する,有向非循環グラフに基づく高速ENASのための新しいフレームワークを提案する。 提案アルゴリズムは,26の最先端のピアアルゴリズムと比較して,広く使用されているデータセット上で評価する。
  論文  参考訳（メタデータ） (2020-03-07T12:33:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。