Fugu-MT 論文翻訳(概要): Optimizing Approximate Leave-one-out Cross-validation to Tune Hyperparameters

論文の概要: Optimizing Approximate Leave-one-out Cross-validation to Tune Hyperparameters

arxiv url: http://arxiv.org/abs/2011.10218v1
Date: Fri, 20 Nov 2020 04:57:41 GMT
ステータス: 処理完了
システム内更新日: 2022-09-23 05:12:18.360827
Title: Optimizing Approximate Leave-one-out Cross-validation to Tune Hyperparameters
Title（参考訳）: Tune Hyperparameters に対する近似的Leave-outクロスバリデーションの最適化
Authors: Ryan Burn
Abstract要約: ヘシアン勾配と ALO の勾配を計算するための効率的な公式を導出する。本稿では,様々な実世界のデータセットに対して,正規化ロジスティック回帰とリッジ回帰のハイパーパラメータを求めることで,提案手法の有用性を示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: For a large class of regularized models, leave-one-out cross-validation can be efficiently estimated with an approximate leave-one-out formula (ALO). We consider the problem of adjusting hyperparameters so as to optimize ALO. We derive efficient formulas to compute the gradient and hessian of ALO and show how to apply a second-order optimizer to find hyperparameters. We demonstrate the usefulness of the proposed approach by finding hyperparameters for regularized logistic regression and ridge regression on various real-world data sets.
Abstract（参考訳）: 大規模な正規化モデルでは、残余のクロスバリデーションを近似的な残余の式(ALO)で効率的に推定することができる。 ALOを最適化するためにハイパーパラメータを調整する問題を考える。 ALOの勾配とヘシアンを計算するための効率的な公式を導出し、ハイパーパラメーターを見つけるために2階最適化器を適用する方法を示す。本稿では,実世界の各種データセット上での正規化ロジスティック回帰とリッジ回帰のためのハイパーパラメータを求めることにより,提案手法の有用性を示す。

関連論文リスト

Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文参考訳（メタデータ） (2024-06-04T20:33:22Z)
Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus [0.46040036610482665]
我々は,l2-正則化を用いた線形回帰問題に対する勾配に基づくアプローチを導入する。提案手法はLASSO, Ridge, Elastic Netレグレッションよりも優れていることを示す。勾配の解析は、自動微分と比較して計算時間の観点からより効率的であることが証明されている。
論文参考訳（メタデータ） (2023-11-23T20:03:51Z)
Stability-Adjusted Cross-Validation for Sparse Linear Regression [5.156484100374059]
k倍のクロスバリデーションのようなクロスバリデーション技術はスパース回帰の計算コストを大幅に増大させる。クロスバリデーションメトリックの重み付け和とモデルの出力安定性を最小化するハイパーパラメータの選択を提案する。我々の信頼度調整手順は、13の実世界のデータセット上で、テストセットエラーを平均で2%削減する。
論文参考訳（メタデータ） (2023-06-26T17:02:45Z)
Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文参考訳（メタデータ） (2022-09-27T07:58:25Z)
Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。提案手法はRパッケージプローブに実装されている。
論文参考訳（メタデータ） (2022-09-16T19:15:50Z)
An Adaptive Alternating-direction-method-based Nonnegative Latent Factor Model [2.857044909410376]
交互方向法に基づく非負潜在因子モデルにより、高次元および不完全行列への効率的な表現学習を行うことができる。本稿では,超パラメータ適応を粒子群最適化の原理に従って実装した適応交互方向法に基づく非負遅延因子モデルを提案する。産業応用によって生成される非負のHDI行列に関する実証的研究は、A2NLFが計算および記憶効率においていくつかの最先端モデルより優れており、HDI行列の欠落データに対する高い競合推定精度を維持していることを示している。
論文参考訳（メタデータ） (2022-04-11T03:04:26Z)
AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文参考訳（メタデータ） (2022-03-15T19:25:01Z)
Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文参考訳（メタデータ） (2021-02-17T21:03:05Z)
Hyper-parameter estimation method with particle swarm optimization [0.8883733362171032]
PSO法はハイパーパラメータ推定の問題では直接利用できない。提案手法は,Swarm法を用いて取得関数の性能を最適化する。いくつかの問題の結果が改善された。
論文参考訳（メタデータ） (2020-11-24T07:51:51Z)
Online Hyperparameter Search Interleaved with Proximal Parameter Updates [9.543667840503739]
本研究では,近似勾配法の構造に依存する手法を開発し,スムーズなコスト関数を必要としない。そのような方法は、Leave-one-out (LOO)-validated LassoおよびGroup Lassoに適用される。数値実験により,提案手法の収束度をLOO検証誤差曲線の局所最適値に相関させる。
論文参考訳（メタデータ） (2020-04-06T15:54:03Z)
Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。提案手法は,解の空間性を利用して高次元データにスケールする。
論文参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。