論文の概要: Efficient Hyperparameter Tuning for Large Scale Kernel Ridge Regression

• arxiv url: http://arxiv.org/abs/2201.06314v1
• Date: Mon, 17 Jan 2022 09:57:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-21 04:46:01.862613
• Title: Efficient Hyperparameter Tuning for Large Scale Kernel Ridge Regression
• Title（参考訳）: 大規模カーネルリッジ回帰のための高効率ハイパーパラメータチューニング
• Authors: Giacomo Meanti, Luigi Carratino, Ernesto De Vito, Lorenzo Rosasco
• Abstract要約: 本稿では,データ依存型ペナルティに基づく複雑性正規化基準を提案し,その効率的な最適化について議論する。 提案手法の利点は,大規模カーネル手法のライブラリに組み込んで,適応的に調整されたソリューションを導出することにある。
• 参考スコア（独自算出の注目度）: 19.401624974011746
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Kernel methods provide a principled approach to nonparametric learning. While their basic implementations scale poorly to large problems, recent advances showed that approximate solvers can efficiently handle massive datasets. A shortcoming of these solutions is that hyperparameter tuning is not taken care of, and left for the user to perform. Hyperparameters are crucial in practice and the lack of automated tuning greatly hinders efficiency and usability. In this paper, we work to fill in this gap focusing on kernel ridge regression based on the Nystr\"om approximation. After reviewing and contrasting a number of hyperparameter tuning strategies, we propose a complexity regularization criterion based on a data dependent penalty, and discuss its efficient optimization. Then, we proceed to a careful and extensive empirical evaluation highlighting strengths and weaknesses of the different tuning strategies. Our analysis shows the benefit of the proposed approach, that we hence incorporate in a library for large scale kernel methods to derive adaptively tuned solutions.
• Abstract（参考訳）: カーネルメソッドは、非パラメトリック学習の原則的なアプローチを提供する。 基本実装は大きな問題に対して不十分にスケールするが、近年の進歩により、近似解法は大量のデータセットを効率的に処理できることが示されている。 これらのソリューションの欠点は、ハイパーパラメータチューニングが考慮されず、ユーザが実行するために残されたことだ。 ハイパーパラメータは実践上極めて重要であり、自動チューニングの欠如は効率とユーザビリティを著しく損なう。 本稿では,このギャップを埋めるために,nystr\"om近似に基づくカーネルリッジ回帰に着目した。 多くのハイパーパラメータチューニング戦略をレビュー・対比し,データ依存ペナルティに基づく複雑性正規化基準を提案し,その効率的な最適化について考察する。 次に、異なるチューニング戦略の強みと弱みを強調する慎重で広範な経験的評価を行う。 提案手法は,適応的に調整された解を導出するために,大規模カーネルメソッドのためのライブラリに組み込む手法である。

関連論文リスト

• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Tune As You Scale: Hyperparameter Optimization For Compute Efficient Training [0.0]
  そこで本研究では,大規模モデルのロバストなチューニング手法を提案する。 CarBSはパフォーマンスコストフロンティアの周辺でローカル検索を行う。 その結果、単純なベースラインをチューニングするだけで、ProcGenベンチマーク全体を効果的に解決できることがわかった。
  論文  参考訳（メタデータ） (2023-06-13T18:22:24Z)
• META-STORM: Generalized Fully-Adaptive Variance Reduced SGD for Unbounded Functions [23.746620619512573]
  最近の研究は「メガバッチ」の勾配を計算する効果を克服している 作業は、競争力のあるディープラーニングタスクで更新された後に広く使用される。
  論文  参考訳（メタデータ） (2022-09-29T15:12:54Z)
• Provably tuning the ElasticNet across instances [53.0518090093538]
  我々は、複数の問題インスタンスにまたがるリッジ回帰、LASSO、ElasticNetの正規化パラメータをチューニングする問題を考察する。 我々の結果は、この重要な問題に対する学習理論による最初の一般的な保証である。
  論文  参考訳（メタデータ） (2022-07-20T21:22:40Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Efficient Hyperparameter Tuning with Dynamic Accuracy Derivative-Free Optimization [0.27074235008521236]
  我々は,最近の動的精度微分自由最適化法をハイパーパラメータチューニングに適用する。 この方法は、収束保証を維持しながら、学習問題の不正確な評価を可能にする。 固定精度アプローチと比較して頑健さと効率性を実証する。
  論文  参考訳（メタデータ） (2020-11-06T00:59:51Z)
• Optimizing generalization on the train set: a novel gradient-based framework to train parameters and hyperparameters simultaneously [0.0]
  一般化は機械学習における中心的な問題である。 本稿では,新たなリスク尺度に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T18:04:36Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)
• Online Parameter Estimation for Safety-Critical Systems with Gaussian Processes [6.122161391301866]
  オンラインパラメータ推定のためのガウス過程(GP)に基づくベイズ最適化フレームワークを提案する。 パラメータ空間の応答面上の効率的な探索戦略を用いて、最小限の機能評価で大域最適解を求める。 我々は,パラメータの変化を考慮したシミュレーションにおいて,アクティベートされた平面振子と安全臨界振子について実演する。
  論文  参考訳（メタデータ） (2020-02-18T20:38:00Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。