論文の概要: Multilevel Objective-Function-Free Optimization with an Application to
Neural Networks Training
- arxiv url: http://arxiv.org/abs/2302.07049v1
- Date: Tue, 14 Feb 2023 14:03:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-15 15:27:56.544096
- Title: Multilevel Objective-Function-Free Optimization with an Application to
Neural Networks Training
- Title（参考訳）: ニューラルネットワーク学習への多レベル目的関数フリー最適化の適用
- Authors: S. Gratton, A. Kopanicakova, Ph. L. Toint
- Abstract要約: 制約のない非線形最適化のためのマルチレベルアルゴリズムのクラスを示す。
目的関数の評価を避けるという選択は、アルゴリズムをノイズに敏感にすることを目的としている。
これらのアルゴリズムの評価複雑性を解析し,ノイズの存在下での挙動を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A class of multi-level algorithms for unconstrained nonlinear optimization is
presented which does not require the evaluation of the objective function. The
class contains the momentum-less AdaGrad method as a particular (single-level)
instance. The choice of avoiding the evaluation of the objective function is
intended to make the algorithms of the class less sensitive to noise, while the
multi-level feature aims at reducing their computational cost. The evaluation
complexity of these algorithms is analyzed and their behaviour in the presence
of noise is then illustrated in the context of training deep neural networks
for supervised learning applications.
- Abstract（参考訳）: 目的関数の評価を必要としない非制約非線形最適化のためのマルチレベルアルゴリズムのクラスを示す。
このクラスは運動量のない AdaGrad メソッドを特定の (単一レベルの) インスタンスとして含む。
目的関数の評価を避けるという選択は、クラスのアルゴリズムをノイズに敏感にすることを目的としており、マルチレベル機能は計算コストの削減を目的としている。
これらのアルゴリズムの評価複雑性を分析し、ノイズの存在下での振る舞いを教師付き学習アプリケーションのためのディープニューラルネットワークのトレーニングのコンテキストで示す。
関連論文リスト
- Training Artificial Neural Networks by Coordinate Search Algorithm [0.20971479389679332]
本稿では、ニューラルネットワークのトレーニングのための勾配自由座標探索(CS)アルゴリズムの効率的なバージョンを提案する。
提案アルゴリズムは、微分不可能なアクティベーション関数で使用することができ、多目的/マルチロス問題に適合する。
ANNの重みに対する最適値を求めることは、大規模な最適化問題である。
論文 参考訳（メタデータ） (2024-02-20T01:47:25Z) - The limitation of neural nets for approximation and optimization [0.0]
最適化問題における目的関数の近似と最小化のために,ニューラルネットワークを代理モデルとして用いることに関心がある。
本研究は、一般的な非線形最適化テスト問題の目的関数を近似する最適なアクティベーション関数を決定することから始まる。
論文 参考訳（メタデータ） (2023-11-21T00:21:15Z) - Score-Based Methods for Discrete Optimization in Deep Learning [30.446056972242616]
このような問題を解決するためのスコアベース近似フレームワークについて検討する。
逆集合分類タスクにおいて,本手法は,手法に比べて速度と解の質において優れたトレードオフを達成できることを実験的に実証した。
論文 参考訳（メタデータ） (2023-10-15T17:14:17Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Self-adaptive algorithms for quasiconvex programming and applications to
machine learning [0.0]
凸線探索技術や,軽微な仮定の下での汎用的アプローチを含まない,自己適応的なステップサイズ戦略を提案する。
提案手法は,いくつかの計算例から予備的な結果によって検証される。
大規模問題に対する提案手法の有効性を実証するため,機械学習実験に適用した。
論文 参考訳（メタデータ） (2022-12-13T05:30:29Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。
表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
論文 参考訳（メタデータ） (2022-06-16T11:44:11Z) - Efficient Methods for Structured Nonconvex-Nonconcave Min-Max
Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。
このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文 参考訳（メタデータ） (2020-10-31T21:35:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。