論文の概要: On Equivalent Optimization of Machine Learning Methods
- arxiv url: http://arxiv.org/abs/2302.09160v1
- Date: Fri, 17 Feb 2023 22:15:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 20:07:05.411778
- Title: On Equivalent Optimization of Machine Learning Methods
- Title(参考訳): 機械学習手法の等価最適化について
- Authors: William T. Redman, Juan M. Bello-Rivas, Maria Fonoberova, Ryan Mohr,
Ioannis G. Kevrekidis, Igor Mezi\'c
- Abstract要約: 学習速度,バッチサイズ,層幅,データセット,アクティベーション関数の選択が,トレーニング中のネットワークパラメータの等価あるいは等価な進化につながる場合の一般的な特徴を示す。
その結果, バッチサイズ比, 層幅, データセットの性質(手書きと合成) およびアクティベーション関数が共役性に影響を及ぼすことがわかった。
- 参考スコア(独自算出の注目度): 1.9573380763700712
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: At the core of many machine learning methods resides an iterative
optimization algorithm for their training. Such optimization algorithms often
come with a plethora of choices regarding their implementation. In the case of
deep neural networks, choices of optimizer, learning rate, batch size, etc.
must be made. Despite the fundamental way in which these choices impact the
training of deep neural networks, there exists no general method for
identifying when they lead to equivalent, or non-equivalent, optimization
trajectories. By viewing iterative optimization as a discrete-time dynamical
system, we are able to leverage Koopman operator theory, where it is known that
conjugate dynamics can have identical spectral objects. We find highly
overlapping Koopman spectra associated with the application of online mirror
and gradient descent to specific problems, illustrating that such a data-driven
approach can corroborate the recently discovered analytical equivalence between
the two optimizers. We extend our analysis to feedforward, fully connected
neural networks, providing the first general characterization of when choices
of learning rate, batch size, layer width, data set, and activation function
lead to equivalent, and non-equivalent, evolution of network parameters during
training. Among our main results, we find that learning rate to batch size
ratio, layer width, nature of data set (handwritten vs. synthetic), and
activation function affect the nature of conjugacy. Our data-driven approach is
general and can be utilized broadly to compare the optimization of machine
learning methods.
- Abstract(参考訳): 多くの機械学習手法の核心には、トレーニングのための反復最適化アルゴリズムがある。
このような最適化アルゴリズムは、しばしば実装に関する多くの選択肢を伴っている。
ディープニューラルネットワークの場合、オプティマイザ、学習率、バッチサイズなどを選択する必要があります。
これらの選択がディープニューラルネットワークのトレーニングに影響を与える基本的な方法にもかかわらず、それらが等価あるいは等価でない最適化軌道にいつ導かれるかを特定する一般的な方法は存在しない。
離散時間力学系として反復最適化を見ることにより、共役力学が同一のスペクトル対象を持つことが知られているクープマン作用素理論を活用できる。
オンラインミラーの応用と勾配勾配勾配による特定の問題に対するKoopmanスペクトルの重なりが強く、このようなデータ駆動アプローチは、最近発見された2つのオプティマイザ間の解析的等価性を相関させることができる。
学習速度、バッチサイズ、層幅、データセット、アクティベーション関数の選択が、トレーニング中のネットワークパラメータの等価かつ非等価な進化につながる場合の、最初の一般的な特徴付けを提供する。
その結果,学習率からバッチサイズ比,層幅,データセットの性質(手書き対合成),活性化関数が共役の性質に影響することがわかった。
データ駆動アプローチは一般的であり、機械学習手法の最適化を比較するために広く利用することができる。
関連論文リスト
- Training Artificial Neural Networks by Coordinate Search Algorithm [0.20971479389679332]
本稿では、ニューラルネットワークのトレーニングのための勾配自由座標探索(CS)アルゴリズムの効率的なバージョンを提案する。
提案アルゴリズムは、微分不可能なアクティベーション関数で使用することができ、多目的/マルチロス問題に適合する。
ANNの重みに対する最適値を求めることは、大規模な最適化問題である。
論文 参考訳(メタデータ) (2024-02-20T01:47:25Z) - Score-Based Methods for Discrete Optimization in Deep Learning [30.446056972242616]
このような問題を解決するためのスコアベース近似フレームワークについて検討する。
逆集合分類タスクにおいて,本手法は,手法に比べて速度と解の質において優れたトレードオフを達成できることを実験的に実証した。
論文 参考訳(メタデータ) (2023-10-15T17:14:17Z) - Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。
適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。
我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
論文 参考訳(メタデータ) (2023-07-07T15:03:42Z) - Physics Informed Piecewise Linear Neural Networks for Process
Optimization [0.0]
ニューラルネットワークモデルに埋め込まれた最適化問題に対して,物理情報を用いた線形ニューラルネットワークモデルの更新が提案されている。
すべてのケースにおいて、物理インフォームドトレーニングニューラルネットワークに基づく最適結果は、大域的最適性に近い。
論文 参考訳(メタデータ) (2023-02-02T10:14:54Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳(メタデータ) (2022-12-14T07:35:20Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。
性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
論文 参考訳(メタデータ) (2022-05-03T07:54:56Z) - Acceleration techniques for optimization over trained neural network
ensembles [1.0323063834827415]
本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。
本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
論文 参考訳(メタデータ) (2021-12-13T20:50:54Z) - Efficient and Sparse Neural Networks by Pruning Weights in a
Multiobjective Learning Approach [0.0]
本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。
模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
論文 参考訳(メタデータ) (2020-08-31T13:28:03Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2020-05-05T18:08:23Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳(メタデータ) (2020-03-25T10:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。