論文の概要: DC and SA: Robust and Efficient Hyperparameter Optimization of
Multi-subnetwork Deep Learning Models
- arxiv url: http://arxiv.org/abs/2202.11841v1
- Date: Thu, 24 Feb 2022 00:29:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-25 17:28:52.073103
- Title: DC and SA: Robust and Efficient Hyperparameter Optimization of
Multi-subnetwork Deep Learning Models
- Title（参考訳）: DCとSA:マルチサブネットワーク深層学習モデルのロバストかつ効率的なハイパーパラメータ最適化
- Authors: Alex H. Treacher and Albert Montillo
- Abstract要約: マルチワークで構築されたモジュールアーキテクチャを用いたディープラーニングモデルの最適化のための2つの新しい戦略を提案する。
提案手法は最適化効率を最大23.62倍に向上し,最終性能は分類精度3.5%,回帰率4.4MSEに向上した。
- 参考スコア（独自算出の注目度）: 0.974672460306765
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present two novel hyperparameter optimization strategies for optimization
of deep learning models with a modular architecture constructed of multiple
subnetworks. As complex networks with multiple subnetworks become more
frequently applied in machine learning, hyperparameter optimization methods are
required to efficiently optimize their hyperparameters. Existing hyperparameter
searches are general, and can be used to optimize such networks, however, by
exploiting the multi-subnetwork architecture, these searches can be sped up
substantially. The proposed methods offer faster convergence to a
better-performing final model. To demonstrate this, we propose 2 independent
approaches to enhance these prior algorithms: 1) a divide-and-conquer approach,
in which the best subnetworks of top-performing models are combined, allowing
for more rapid sampling of the hyperparameter search space. 2) A subnetwork
adaptive approach that distributes computational resources based on the
importance of each subnetwork, allowing more intelligent resource allocation.
These approaches can be flexibily applied to many hyperparameter optimization
algorithms. To illustrate this, we combine our approaches with the
commonly-used Bayesian optimization method. Our approaches are then tested
against both synthetic examples and real-world examples and applied to multiple
network types including convolutional neural networks and dense feed forward
neural networks. Our approaches show an increased optimization efficiency of up
to 23.62x, and a final performance boost of up to 3.5% accuracy for
classification and 4.4 MSE for regression, when compared to comparable BO
approach.
- Abstract（参考訳）: 複数のサブネットで構成されたモジュールアーキテクチャを用いたディープラーニングモデルの最適化のための2つの新しいハイパーパラメータ最適化手法を提案する。
複数のサブネットワークを持つ複雑なネットワークが機械学習に頻繁に使われるようになると、ハイパーパラメータ最適化手法はハイパーパラメータを効率的に最適化するために必要となる。
既存のハイパーパラメータ検索は一般的であり、そのようなネットワークを最適化するために使用できるが、マルチサブネットワークアーキテクチャを利用することにより、これらの検索を実質的に高速化することができる。
提案手法はより高性能なファイナルモデルへの収束を高速化する。
これを示すために、これらの先行アルゴリズムを強化する2つの独立したアプローチを提案する。
1) 高パラメータ探索空間のより迅速なサンプリングを可能にするため,最高性能モデルの最適サブネットが組み合わさった分割対コンカレント手法を提案する。
2) 各サブネットワークの重要性に基づいて計算資源を分散し、よりインテリジェントなリソース割り当てを可能にするサブネットワーク適応アプローチ。
これらのアプローチは多くのハイパーパラメータ最適化アルゴリズムに柔軟に適用できる。
これを説明するために、我々のアプローチと一般的なベイズ最適化法を組み合わせる。
提案手法は,合成例と実例の両方に対して検証し,畳み込みニューラルネットワークや高密度フィードフォワードニューラルネットワークを含む複数のネットワークタイプに適用する。
提案手法では,最大23.62倍の最適化効率が向上し,最大3.5%の分類精度,4.4MSEの回帰精度が向上した。
関連論文リスト
- Edge-Efficient Deep Learning Models for Automatic Modulation Classification: A Performance Analysis [0.7428236410246183]
無線信号の自動変調分類(AMC)のための最適化畳み込みニューラルネットワーク(CNN)について検討した。
本稿では,これらの手法を組み合わせて最適化モデルを提案する。
実験結果から,提案手法と組み合わせ最適化手法は,複雑度が著しく低いモデルの開発に極めて有効であることが示唆された。
論文 参考訳（メタデータ） (2024-04-11T06:08:23Z) - SequentialAttention++ for Block Sparsification: Differentiable Pruning
Meets Combinatorial Optimization [24.55623897747344]
ニューラルネットワークプルーニングは、大規模で拡張性があり、解釈可能で、一般化可能なモデルを構築するための重要な技術である。
群スパース最適化の非正規化として,既存の微分可能なプルーニング手法がいくつあるかを示す。
我々は、ImageNetとCriteoデータセット上の大規模ニューラルネットワークブロックワイドプルーニングタスクの最先端技術であるSequentialAttention++を提案する。
論文 参考訳（メタデータ） (2024-02-27T21:42:18Z) - Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。
本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。
ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文 参考訳（メタデータ） (2024-02-27T11:52:49Z) - Federated Multi-Level Optimization over Decentralized Networks [55.776919718214224]
エージェントが隣人としか通信できないネットワーク上での分散マルチレベル最適化の問題について検討する。
ネットワーク化されたエージェントが1つの時間スケールで異なるレベルの最適化問題を解くことができる新しいゴシップに基づく分散マルチレベル最適化アルゴリズムを提案する。
提案アルゴリズムは, ネットワークサイズと線形にスケーリングし, 各種アプリケーション上での最先端性能を示す。
論文 参考訳（メタデータ） (2023-10-10T00:21:10Z) - Bidirectional Looking with A Novel Double Exponential Moving Average to
Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。
我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
論文 参考訳（メタデータ） (2023-07-02T18:16:06Z) - A Survey on Multi-Objective based Parameter Optimization for Deep
Learning [1.3223682837381137]
深層ニューラルネットワークを用いたパラメータ最適化における多目的最適化手法の有効性について検討する。
これら2つの手法を組み合わせて、複数のアプリケーションにおける予測と分析の生成に関する貴重な洞察を提供する。
論文 参考訳（メタデータ） (2023-05-17T07:48:54Z) - Application of Monte Carlo Stochastic Optimization (MOST) to Deep
Learning [0.0]
本稿では,著者らが提案したモンテカルロ最適化(MOST)をXORゲートの深層学習に適用する。
その結果,既存の方法よりも早く収束することが確認された。
論文 参考訳（メタデータ） (2021-09-02T05:52:26Z) - A self-adapting super-resolution structures framework for automatic
design of GAN [15.351639834230383]
本稿では,超高解像度画像再構成生成ネットワークフレームワークを提案する。
生成器と識別器のハイパーパラメータを最適化するためにベイズ最適化を用いる。
本手法は,GANの最適化ポリシとしてベイズ最適化を採用する。
論文 参考訳（メタデータ） (2021-06-10T19:11:29Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。
RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。
この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文 参考訳（メタデータ） (2021-02-15T19:36:18Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。