論文の概要: From inexact optimization to learning via gradient concentration
- arxiv url: http://arxiv.org/abs/2106.05397v1
- Date: Wed, 9 Jun 2021 21:23:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-11 14:29:18.414796
- Title: From inexact optimization to learning via gradient concentration
- Title(参考訳): 不正確な最適化から勾配集中による学習へ
- Authors: Bernhard Stankewitz, Nicole M\"ucke, Lorenzo Rosasco
- Abstract要約: 本稿では,滑らかな損失関数を持つ線形モデルの文脈における現象について検討する。
本稿では、不正確な最適化と確率論、特に勾配集中のアイデアを組み合わせた証明手法を提案する。
- 参考スコア(独自算出の注目度): 22.152317081922437
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optimization was recently shown to control the inductive bias in a learning
process, a property referred to as implicit, or iterative regularization. The
estimator obtained iteratively minimizing the training error can generalise
well with no need of further penalties or constraints. In this paper, we
investigate this phenomenon in the context of linear models with smooth loss
functions. In particular, we investigate and propose a proof technique
combining ideas from inexact optimization and probability theory, specifically
gradient concentration. The proof is easy to follow and allows to obtain sharp
learning bounds. More generally, it highlights a way to develop optimization
results into learning guarantees.
- Abstract(参考訳): 最近、最適化は学習プロセスの帰納的バイアス、暗黙的あるいは反復的正規化と呼ばれる特性を制御することが示されている。
反復的にトレーニングエラーを最小化する推定器は、さらなる罰則や制約を必要とせずに一般化することができる。
本稿では, 滑らかな損失関数を持つ線形モデルにおいて, この現象を考察する。
特に,不正確な最適化と確率論,特に勾配集中のアイデアを組み合わせた証明手法について検討し,提案する。
証明は簡単に追従でき、鋭い学習境界を得ることができる。
より一般的には、学習保証に最適化結果を開発する方法を強調している。
関連論文リスト
- Generalization Error of First-Order Methods for Statistical Learning
with Generic Oracles [15.710088225806299]
統計的学習のための一階最適化アルゴリズムの一般化誤差の解析のためのフレームワークを提供する。
標準的な教師付き学習では、バッチサイズの増加とウォームスタートによるミニバッチ勾配降下が、乗算係数に最適な一般化誤差に達することが示されている。
論文 参考訳(メタデータ) (2023-07-10T16:29:05Z) - Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳(メタデータ) (2023-03-31T02:10:30Z) - Matrix Completion via Non-Convex Relaxation and Adaptive Correlation
Learning [90.8576971748142]
閉形式解によって最適化できる新しいサロゲートを開発する。
そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
論文 参考訳(メタデータ) (2022-03-04T08:50:50Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-02-28T13:01:04Z) - Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。
特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。
我々はこれらの現象を具体的原理で補うと推測する。
論文 参考訳(メタデータ) (2021-03-16T16:26:36Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - A Random Matrix Theory Approach to Damping in Deep Learning [0.7614628596146599]
深層学習における適応的勾配法と非適応的勾配法との違いは推定ノイズの増加に起因すると推測する。
線形縮退推定にインスパイアされた2次オプティマイザのためのランダム行列理論に基づくダンピング学習器を開発した。
論文 参考訳(メタデータ) (2020-11-15T18:19:42Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。