論文の概要: Optimizing generalization on the train set: a novel gradient-based
framework to train parameters and hyperparameters simultaneously
- arxiv url: http://arxiv.org/abs/2006.06705v1
- Date: Thu, 11 Jun 2020 18:04:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 12:40:10.991303
- Title: Optimizing generalization on the train set: a novel gradient-based
framework to train parameters and hyperparameters simultaneously
- Title（参考訳）: 列車の一般化の最適化:パラメータとハイパーパラメータを同時に学習する新しい勾配に基づく枠組み
- Authors: Karim Lounici, Katia Meziani, Benjamin Riu
- Abstract要約: 一般化は機械学習における中心的な問題である。
本稿では,新たなリスク尺度に基づく新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalization is a central problem in Machine Learning. Most prediction
methods require careful calibration of hyperparameters carried out on a
hold-out \textit{validation} dataset to achieve generalization. The main goal
of this paper is to present a novel approach based on a new measure of risk
that allows us to develop novel fully automatic procedures for generalization.
We illustrate the pertinence of this new framework in the regression problem.
The main advantages of this new approach are: (i) it can simultaneously train
the model and perform regularization in a single run of a gradient-based
optimizer on all available data without any previous hyperparameter tuning;
(ii) this framework can tackle several additional objectives simultaneously
(correlation, sparsity,...) $via$ the introduction of regularization
parameters. Noticeably, our approach transforms hyperparameter tuning as well
as feature selection (a combinatorial discrete optimization problem) into a
continuous optimization problem that is solvable via classical gradient-based
methods ; (iii) the computational complexity of our methods is $O(npK)$ where
$n,p,K$ denote respectively the number of observations, features and iterations
of the gradient descent algorithm. We observe in our experiments a
significantly smaller runtime for our methods as compared to benchmark methods
for equivalent prediction score. Our procedures are implemented in PyTorch
(code is available for replication).
- Abstract（参考訳）: 一般化は機械学習の中心的な問題である。
ほとんどの予測方法は、一般化を達成するために保留の \textit{validation} データセット上で実行されるハイパーパラメータの注意深いキャリブレーションを必要とする。
本研究の目的は,新たなリスク尺度に基づく新しい手法を提案することである。
我々は,この新しいフレームワークの回帰問題における関連性について述べる。
この新しいアプローチの主な利点は次のとおりである。
(i) 従来のハイパーパラメータチューニングなしで、すべての利用可能なデータに対して、モデルを同時にトレーニングし、グラデーションベースのオプティマイザの単一実行で正規化することができる。
(ii) このフレームワークは、いくつかの追加目的(相関、疎性、...)を同時に取り組むことができる。
注意すべきは、我々のアプローチはハイパーパラメータチューニングと特徴選択(組合せ離散最適化問題)を古典的勾配法で解ける連続最適化問題に変換することである。
(iii)手法の計算複雑性は$O(npK)$であり,$n,p,K$はそれぞれ勾配降下アルゴリズムの観測数,特徴量,反復数を表す。
実験では,等価な予測スコアのベンチマーク手法と比較して,提案手法のランタイムがはるかに小さいことを観察した。
私たちの手順はPyTorchで実装されています(コードはレプリケーションに使用できます)。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - A framework for bilevel optimization that enables stochastic and global
variance reduction algorithms [17.12280360174073]
双レベル最適化は、他の関数のarg最小値を含む値関数を最小化する問題である。
本稿では, 内部問題の解, 線形系の解, 主変数を同時に発展させる新しい枠組みを提案する。
我々のフレームワークにおけるSAGAアルゴリズムの適応であるSABAは$O(frac1T)$収束率を持ち、Polyak-Lojasciewicz仮定の下で線形収束を達成することを示した。
論文 参考訳（メタデータ） (2022-01-31T18:17:25Z) - Bolstering Stochastic Gradient Descent with Model Building [0.0]
勾配降下法とその変種は、優れた収束率を達成するためのコア最適化アルゴリズムを構成する。
本稿では,前方ステップモデル構築に基づく新しいアルゴリズムを用いて,線探索の代替手法を提案する。
提案アルゴリズムは、よく知られたテスト問題において、より高速な収束とより優れた一般化を実現する。
論文 参考訳（メタデータ） (2021-11-13T06:54:36Z) - Slowly Varying Regression under Sparsity [5.22980614912553]
本稿では, 緩やかな過度回帰の枠組みを提示し, 回帰モデルが緩やかかつスパースな変動を示すようにした。
本稿では,バイナリ凸アルゴリズムとして再構成する手法を提案する。
結果として得られたモデルは、様々なデータセット間で競合する定式化よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-02-22T04:51:44Z) - Muddling Labels for Regularization, a novel approach to generalization [0.0]
一般化は機械学習の中心的な問題である。
本稿では,データ分割のない一般化を実現する新しい手法を提案する。
これはモデルが過度に適合する傾向を直接定量化する新しいリスク尺度に基づいている。
論文 参考訳（メタデータ） (2021-02-17T14:02:30Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。
本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。
本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-04T00:26:56Z) - Obtaining Adjustable Regularization for Free via Iterate Averaging [43.75491612671571]
最適化のための正規化は、機械学習の過度な適合を避けるための重要なテクニックである。
我々は、任意の強凸かつ滑らかな対象関数上のSGDの繰り返しを正規化された関数に変換する平均化スキームを確立する。
提案手法は,高速化および事前条件最適化手法にも利用できる。
論文 参考訳（メタデータ） (2020-08-15T15:28:05Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。