論文の概要: Towards Hyperparameter-Agnostic DNN Training via Dynamical System Insights

• arxiv url: http://arxiv.org/abs/2310.13901v1
• Date: Sat, 21 Oct 2023 03:45:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 04:39:48.965478
• Title: Towards Hyperparameter-Agnostic DNN Training via Dynamical System Insights
• Title（参考訳）: 動的システムインサイトを用いた超パラメータ非依存DNNトレーニングに向けて
• Authors: Carmel Fiscko, Aayushya Agarwal, Yihan Ruan, Soummya Kar, Larry Pileggi, and Bruno Sinopoli
• Abstract要約: 本稿では,ディープニューラルネットワーク(DNN),ECCO-DNNに特化した一階最適化手法を提案する。 本手法は, 最適変数軌道を動的システムとしてモデル化し, 軌道形状に基づいてステップサイズを適応的に選択する離散化アルゴリズムを開発する。
• 参考スコア（独自算出の注目度）: 4.513581513983453
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a stochastic first-order optimization method specialized for deep neural networks (DNNs), ECCO-DNN. This method models the optimization variable trajectory as a dynamical system and develops a discretization algorithm that adaptively selects step sizes based on the trajectory's shape. This provides two key insights: designing the dynamical system for fast continuous-time convergence and developing a time-stepping algorithm to adaptively select step sizes based on principles of numerical integration and neural network structure. The result is an optimizer with performance that is insensitive to hyperparameter variations and that achieves comparable performance to state-of-the-art optimizers including ADAM, SGD, RMSProp, and AdaGrad. We demonstrate this in training DNN models and datasets, including CIFAR-10 and CIFAR-100 using ECCO-DNN and find that ECCO-DNN's single hyperparameter can be changed by three orders of magnitude without affecting the trained models' accuracies. ECCO-DNN's insensitivity reduces the data and computation needed for hyperparameter tuning, making it advantageous for rapid prototyping and for applications with new datasets. To validate the efficacy of our proposed optimizer, we train an LSTM architecture on a household power consumption dataset with ECCO-DNN and achieve an optimal mean-square-error without tuning hyperparameters.
• Abstract（参考訳）: 本稿では、ディープニューラルネットワーク(DNN)、ECCO-DNNに特化した確率的一階最適化手法を提案する。 本手法は, 最適変数軌跡を動的システムとしてモデル化し, 軌道形状に基づいてステップサイズを適応的に選択する離散化アルゴリズムを開発する。 高速な連続的収束のための動的システムの設計と、数値積分とニューラルネットワークの構造に基づくステップサイズを適応的に選択する時間ステップアルゴリズムの開発である。 その結果、パフォーマンスはハイパーパラメータの変動に敏感であり、ADAM、SGD、RMSProp、AdaGradといった最先端のオプティマイザに匹敵するパフォーマンスを実現する。 我々は,ecco-dnnを用いたcifar-10とcifar-100を含むdnnモデルとデータセットのトレーニングにおいて,ecco-dnnの単一ハイパーパラメータを3桁変更できることを示した。 ECCO-DNNの感度は、ハイパーパラメータチューニングに必要なデータと計算を削減し、高速プロトタイピングや新しいデータセットの応用に有利である。 提案手法の有効性を検証するため,ECCO-DNNを用いて家庭用電力消費データセット上でLSTMアーキテクチャをトレーニングし,ハイパーパラメータを調整せずに最適平均2乗誤差を実現する。

関連論文リスト

• RLEEGNet: Integrating Brain-Computer Interfaces with Adaptive AI for Intuitive Responsiveness and High-Accuracy Motor Imagery Classification [0.0]
  本稿では,Deep Q-Networks (DQN) を用いた強化学習を分類タスクに活用するフレームワークを提案する。 本稿では,OVR(One-Versus-The-Rest)方式で,マルチクラス運動画像(MI)分類のための前処理手法を提案する。 DQNと1D-CNN-LSTMアーキテクチャの統合は意思決定プロセスをリアルタイムで最適化する。
  論文  参考訳（メタデータ） (2024-02-09T02:03:13Z)
• Dynamically configured physics-informed neural network in topology optimization applications [4.403140515138818]
  物理インフォームドニューラルネットワーク(PINN)は、前方問題を解決する際に大量のデータを生成するのを避けることができる。 動的に構成された PINN-based Topology Optimization (DCPINN-TO) 法を提案する。 変位予測と最適化結果の精度は,DCPINN-TO法が効率的かつ効率的であることを示している。
  論文  参考訳（メタデータ） (2023-12-12T05:35:30Z)
• Towards A Flexible Accuracy-Oriented Deep Learning Module Inference Latency Prediction Framework for Adaptive Optimization Algorithms [0.49157446832511503]
  本稿では,ディープラーニングモジュール推論遅延予測フレームワークを提案する。 DNNモジュールごとに複数のRMをトレーニングするために、カスタマイズ可能な入力パラメータのセットをホストする。 トレーニングされたRMのセットを自動的に選択し、全体的な予測精度が最高になる。
  論文  参考訳（メタデータ） (2023-12-11T15:15:48Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
  非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。 メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。 このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
  論文  参考訳（メタデータ） (2021-06-06T10:06:07Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Fusion-Catalyzed Pruning for Optimizing Deep Learning on Intelligent Edge Devices [9.313154178072049]
  本稿では,ニューラルネットワークの高速化を目的とした,FuPrunerと呼ばれる新しい核融合パラメトリックプルーニング手法を提案する。 モデルに等価に変換するアグレッシブ・フュージョン法を導入し、プルーニングの最適化空間を拡張した。 FuPrunerは、フュージョンとプルーニングを制御する最適化オプションを提供する。
  論文  参考訳（メタデータ） (2020-10-30T10:10:08Z)
• Automatic Remaining Useful Life Estimation Framework with Embedded Convolutional LSTM as the Backbone [5.927250637620123]
  組込み畳み込みLSTM(E NeuralTM)と呼ばれる新しいLSTM変種を提案する。 ETMでは、異なる1次元の畳み込みの群がLSTM構造に埋め込まれている。 RUL推定のために広く用いられているいくつかのベンチマークデータセットに対する最先端のアプローチよりも,提案したEMMアプローチの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-10T08:34:20Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。