論文の概要: LassoBench: A High-Dimensional Hyperparameter Optimization Benchmark Suite for Lasso

• arxiv url: http://arxiv.org/abs/2111.02790v1
• Date: Thu, 4 Nov 2021 12:05:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-05 15:28:19.336014
• Title: LassoBench: A High-Dimensional Hyperparameter Optimization Benchmark Suite for Lasso
• Title（参考訳）: LassoBench: Lasso用の高次元ハイパーパラメータ最適化ベンチマークスイート
• Authors: Kenan \v{S}ehi\'c, Alexandre Gramfort, Joseph Salmon and Luigi Nardi
• Abstract要約: LassoBenchは、Lassoコミュニティで重要なオープンリサーチトピックに適した、新しいベンチマークスイートである。 我々は5つの最先端HPO法と3つのベースラインを評価し、ベイズ最適化が、特にスパース回帰によく用いられる手法よりも改善できることを実証した。
• 参考スコア（独自算出の注目度）: 84.6451154376526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Even though Weighted Lasso regression has appealing statistical guarantees, it is typically avoided due to its complex search space described with thousands of hyperparameters. On the other hand, the latest progress with high-dimensional HPO methods for black-box functions demonstrates that high-dimensional applications can indeed be efficiently optimized. Despite this initial success, the high-dimensional HPO approaches are typically applied to synthetic problems with a moderate number of dimensions which limits its impact in scientific and engineering applications. To address this limitation, we propose LassoBench, a new benchmark suite tailored for an important open research topic in the Lasso community that is Weighted Lasso regression. LassoBench consists of benchmarks on both well-controlled synthetic setups (number of samples, SNR, ambient and effective dimensionalities, and multiple fidelities) and real-world datasets, which enable the use of many flavors of HPO algorithms to be improved and extended to the high-dimensional setting. We evaluate 5 state-of-the-art HPO methods and 3 baselines, and demonstrate that Bayesian optimization, in particular, can improve over the methods commonly used for sparse regression while highlighting limitations of these frameworks in very high-dimensions. Remarkably, Bayesian optimization improve the Lasso baselines on 60, 100, 300, and 1000 dimensional problems by 45.7%, 19.2%, 19.7% and 15.5%, respectively.
• Abstract（参考訳）: 重み付きラッソ回帰は統計的な保証を訴えているが、数千のハイパーパラメータで記述される複雑な探索空間のため、通常は避けられる。 一方,ブラックボックス関数に対する高次元hpo法の最近の進歩は,高次元応用を効率的に最適化できることを示す。 この初期の成功にもかかわらず、高次元のhpoアプローチは、科学的および工学的応用にその影響を制限する、適度な次元の合成問題に適用される。 この制限に対処するため、我々はlassoのコミュニティで重要なオープンリサーチトピックに合わせた新しいベンチマークスイートであるlassobenchを提案する。 LassoBenchは、よく制御された合成セットアップ(サンプル数、SNR、周囲および有効次元、および複数の忠実度)と実世界のデータセットの両方のベンチマークで構成されており、HPOアルゴリズムの多くのフレーバーを高次元設定に改善および拡張することができる。 我々は5つの最先端HPO手法と3つのベースラインを評価し、ベイジアン最適化は、特にスパースレグレッションによく使われる手法よりも、非常に高次元でこれらのフレームワークの限界を強調しながら改善できることを実証した。 ベイズ最適化は、ラッソのベースラインを60、100、300、1000次元の問題をそれぞれ45.7%、19.2%、19.7%、および15.5%改善した。

関連論文リスト

• ALPS: Improved Optimization for Highly Sparse One-Shot Pruning for Large Language Models [14.310720048047136]
  ALPSは,演算子分割法と事前条件付き勾配共役型後処理法を用いて,プルーニング問題に対処する最適化ベースのフレームワークである。 提案手法はベクトル化とGPU並列性を有効利用しながら収束を加速し理論的に保証する新しい手法を取り入れている。 OPT-30Bモデルでは70%の間隔で、ALPSはWikiTextデータセットにおけるテストの難易度を13%削減し、既存の手法と比較してゼロショットベンチマークのパフォーマンスを19%改善した。
  論文  参考訳（メタデータ） (2024-06-12T02:57:41Z)
• Uncertainty-Aware Testing-Time Optimization for 3D Human Pose Estimation [68.75387874066647]
  本研究では3次元ポーズ推定のための不確実性認識テスト時間最適化フレームワークを提案する。 我々のアプローチは、Human3.6Mの4.5%という大きなマージンで、過去最高の結果を上回っている。
  論文  参考訳（メタデータ） (2024-02-04T04:28:02Z)
• HomOpt: A Homotopy-Based Hyperparameter Optimization Method [10.11271414863925]
  一般化加法モデル(GAM)とホモトピー最適化を組み合わせたデータ駆動型手法であるHomOptを提案する。 本稿では,HomOptが任意のメソッドの性能と有効性を向上し,連続離散およびカテゴリー領域空間上での最適収束を高速化する方法について述べる。
  論文  参考訳（メタデータ） (2023-08-07T06:01:50Z)
• Sample Less, Learn More: Efficient Action Recognition via Frame Feature Restoration [59.6021678234829]
  本稿では,2つのスパースサンプリングおよび隣接するビデオフレームの中間特徴を復元する新しい手法を提案する。 提案手法の統合により, 一般的な3つのベースラインの効率は50%以上向上し, 認識精度は0.5%低下した。
  論文  参考訳（メタデータ） (2023-07-27T13:52:42Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Fast Bayesian Optimization of Needle-in-a-Haystack Problems using Zooming Memory-Based Initialization [73.96101108943986]
  Needle-in-a-Haystack問題は、データセットのサイズに対して最適な条件が極端に不均衡であるときに発生する。 本稿では,従来のベイズ最適化原理に基づくズームメモリに基づく初期化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-26T23:57:41Z)
• Improving LSHADE by means of a pre-screening mechanism [0.0]
  本稿では,LSHADEアルゴリズムを事前スクリーニング機構(psLSHADE)の形で拡張する。 提案した事前スクリーニングは, 特定の初期サンプリング手順, サンプルのアーカイブ, フィットネス機能の大域的線形メタモデルという3つのコンポーネントに依存している。 psLSHADEの性能は、CEC2021ベンチマークを用いて、1次元あたり102-104 FFEの最適化予算を持つ高価なシナリオで評価される。
  論文  参考訳（メタデータ） (2022-04-08T14:52:46Z)
• Certifiable Outlier-Robust Geometric Perception: Exact Semidefinite Relaxations and Scalable Global Optimization [29.738513596063946]
  本稿では,外接点の存在下でのロバストな幾何学的知覚のためのアルゴリズム設計のための,最初の汎用フレームワークを提案する。 我々の実験では、SDP緩和はアプリケーション間で最大で外れ率で正確であることを実証した。
  論文  参考訳（メタデータ） (2021-09-07T21:42:16Z)
• Efficient hyperparameter optimization by way of PAC-Bayes bound minimization [4.191847852775072]
  本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。 そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-08-14T15:54:51Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。