論文の概要: Stochastic batch size for adaptive regularization in deep network optimization

• arxiv url: http://arxiv.org/abs/2004.06341v1
• Date: Tue, 14 Apr 2020 07:54:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 08:47:29.890848
• Title: Stochastic batch size for adaptive regularization in deep network optimization
• Title（参考訳）: ディープネットワーク最適化における適応正規化のための確率バッチサイズ
• Authors: Kensuke Nakamura, Stefano Soatto, Byung-Woo Hong
• Abstract要約: ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
• 参考スコア（独自算出の注目度）: 63.68104397173262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a first-order stochastic optimization algorithm incorporating adaptive regularization applicable to machine learning problems in deep learning framework. The adaptive regularization is imposed by stochastic process in determining batch size for each model parameter at each optimization iteration. The stochastic batch size is determined by the update probability of each parameter following a distribution of gradient norms in consideration of their local and global properties in the neural network architecture where the range of gradient norms may vary within and across layers. We empirically demonstrate the effectiveness of our algorithm using an image classification task based on conventional network models applied to commonly used benchmark datasets. The quantitative evaluation indicates that our algorithm outperforms the state-of-the-art optimization algorithms in generalization while providing less sensitivity to the selection of batch size which often plays a critical role in optimization, thus achieving more robustness to the selection of regularity.
• Abstract（参考訳）: ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を組み込んだ一階確率最適化アルゴリズムを提案する。 適応正則化は、最適化イテレーション毎に各モデルパラメータのバッチサイズを決定する確率過程によって課される。 確率的バッチサイズは、勾配ノルムの範囲が層内および層間で異なるニューラルネットワークアーキテクチャにおける局所的および大域的特性を考慮して、勾配ノルムの分布に従って各パラメータの更新確率によって決定される。 ベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,本アルゴリズムの有効性を実証的に実証する。 定量的評価により,本アルゴリズムは,最適化において重要な役割を担うバッチサイズの選択に対する感度を低くし,正規性の選択に対する堅牢性の向上を図っている。

関連論文リスト

• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Faster Margin Maximization Rates for Generic and Adversarially Robust Optimization Methods [20.118513136686452]
  一階最適化法は、未決定の訓練目標を最小化する際に、本質的に他よりも特定の解を優先する傾向がある。 本稿では,ミラー降下法と最急降下法について,最先端の暗黙バイアス率を示す。 私たちの加速速度は、このゲームフレームワークにおけるオンライン学習アルゴリズムの残念な部分を活用することによって導き出されます。
  論文  参考訳（メタデータ） (2023-05-27T18:16:56Z)
• Adaptive Experimentation at Scale: A Computational Framework for Flexible Batches [7.390918770007728]
  結果がバッチで測定される少数の実測を含む実例によって動機付けられ,適応駆動型実験フレームワークを開発した。 我々の主な観察は、統計的推論において普遍的な正規近似は適応アルゴリズムの設計を導くことができることである。
  論文  参考訳（メタデータ） (2023-03-21T04:17:03Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Evolutionary Variational Optimization of Generative Models [0.0]
  分散最適化と進化的アルゴリズムの2つの一般的な最適化アプローチをジェネレーションモデルのための学習アルゴリズムの導出に組み合わせます。 進化的アルゴリズムは変動境界を効果的かつ効率的に最適化できることを示す。 ゼロショット」学習のカテゴリでは、多くのベンチマーク設定で最先端の技術を大幅に改善するために進化的変動アルゴリズムを観察しました。
  論文  参考訳（メタデータ） (2020-12-22T19:06:33Z)
• On the implementation of a global optimization method for mixed-variable problems [0.30458514384586394]
  このアルゴリズムは、グットマンの放射基底関数と、レジスとシューメーカーの計量応答面法に基づいている。 これら2つのアルゴリズムの一般化と改良を目的としたいくつかの修正を提案する。
  論文  参考訳（メタデータ） (2020-09-04T13:36:56Z)
• Obtaining Adjustable Regularization for Free via Iterate Averaging [43.75491612671571]
  最適化のための正規化は、機械学習の過度な適合を避けるための重要なテクニックである。 我々は、任意の強凸かつ滑らかな対象関数上のSGDの繰り返しを正規化された関数に変換する平均化スキームを確立する。 提案手法は,高速化および事前条件最適化手法にも利用できる。
  論文  参考訳（メタデータ） (2020-08-15T15:28:05Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。