論文の概要: Implicit differentiation of Lasso-type models for hyperparameter optimization

• arxiv url: http://arxiv.org/abs/2002.08943v3
• Date: Thu, 3 Sep 2020 16:53:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 06:59:08.460561
• Title: Implicit differentiation of Lasso-type models for hyperparameter optimization
• Title（参考訳）: ハイパーパラメータ最適化のためのラッソ型モデルの帰納的微分
• Authors: Quentin Bertrand and Quentin Klopfenstein and Mathieu Blondel and Samuel Vaiter and Alexandre Gramfort and Joseph Salmon
• Abstract要約: ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
• 参考スコア（独自算出の注目度）: 82.73138686390514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Setting regularization parameters for Lasso-type estimators is notoriously difficult, though crucial in practice. The most popular hyperparameter optimization approach is grid-search using held-out validation data. Grid-search however requires to choose a predefined grid for each parameter, which scales exponentially in the number of parameters. Another approach is to cast hyperparameter optimization as a bi-level optimization problem, one can solve by gradient descent. The key challenge for these methods is the estimation of the gradient with respect to the hyperparameters. Computing this gradient via forward or backward automatic differentiation is possible yet usually suffers from high memory consumption. Alternatively implicit differentiation typically involves solving a linear system which can be prohibitive and numerically unstable in high dimension. In addition, implicit differentiation usually assumes smooth loss functions, which is not the case for Lasso-type problems. This work introduces an efficient implicit differentiation algorithm, without matrix inversion, tailored for Lasso-type problems. Our approach scales to high-dimensional data by leveraging the sparsity of the solutions. Experiments demonstrate that the proposed method outperforms a large number of standard methods to optimize the error on held-out data, or the Stein Unbiased Risk Estimator (SURE).
• Abstract（参考訳）: ラッソ型推定器の正規化パラメータの設定は難しいが、実際は極めて重要である。 最も一般的なハイパーパラメータ最適化アプローチは、保留検証データを用いたグリッド検索である。 しかし、グリッド検索では、パラメータ数で指数関数的にスケールする各パラメータの事前定義されたグリッドを選択する必要がある。 もう1つのアプローチは、勾配降下によって解決できる双レベル最適化問題としてハイパーパラメータ最適化をキャストすることである。 これらの手法の鍵となる課題は、ハイパーパラメータに関する勾配の推定である。 この勾配を前方または後方で計算することは可能であるが、通常は高いメモリ消費に悩まされる。 あるいは、暗黙的な微分は通常、高次元において禁止的で数値的に不安定な線形系を解く。 加えて、暗黙的な微分は通常滑らかな損失関数を仮定するが、これはラッソ型問題には当てはまらない。 この研究は、ラッソ型問題に適した行列反転のない効率的な暗黙微分アルゴリズムを導入する。 提案手法は,解の空間性を利用して高次元データにスケールする。 実験により,提案手法はホールドアウトデータの誤差を最適化するための多くの標準手法,すなわちStein Unbiased Risk Estimator(SURE)より優れていることが示された。

関連論文リスト

• Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus [0.46040036610482665]
  我々は,l2-正則化を用いた線形回帰問題に対する勾配に基づくアプローチを導入する。 提案手法はLASSO, Ridge, Elastic Netレグレッションよりも優れていることを示す。 勾配の解析は、自動微分と比較して計算時間の観点からより効率的であることが証明されている。
  論文  参考訳（メタデータ） (2023-11-23T20:03:51Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
  予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。 本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。 本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-04T00:26:56Z)
• Convergence Properties of Stochastic Hypergradients [38.64355126221992]
  大規模データセットにおける低レベルの問題が経験的リスクである場合に重要となる過勾配の近似スキームについて検討する。 本研究では,理論解析を支援する数値実験を行い,実際にハイパーグラディエントを用いることの利点を示す。
  論文  参考訳（メタデータ） (2020-11-13T20:50:36Z)
• Efficient hyperparameter optimization by way of PAC-Bayes bound minimization [4.191847852775072]
  本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。 そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-08-14T15:54:51Z)
• Optimizing generalization on the train set: a novel gradient-based framework to train parameters and hyperparameters simultaneously [0.0]
  一般化は機械学習における中心的な問題である。 本稿では,新たなリスク尺度に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T18:04:36Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。