論文の概要: MARS via LASSO

• arxiv url: http://arxiv.org/abs/2111.11694v5
• Date: Sun, 13 Oct 2024 21:12:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 21:41:35.720306
• Title: MARS via LASSO
• Title（参考訳）: LASSOによるMARS
• Authors: Dohyeong Ki, Billy Fang, Adityanand Guntuboyina,
• Abstract要約: 我々はMARS法の自然変種を提案し,研究する。 提案手法は,関数の凸クラス上での少なくとも2乗推定に基づいている。 我々の推定器は有限次元凸最適化によって計算できる。
• 参考スコア（独自算出の注目度）: 1.5199437137239338
• License:
• Abstract: Multivariate adaptive regression splines (MARS) is a popular method for nonparametric regression introduced by Friedman in 1991. MARS fits simple nonlinear and non-additive functions to regression data. We propose and study a natural lasso variant of the MARS method. Our method is based on least squares estimation over a convex class of functions obtained by considering infinite-dimensional linear combinations of functions in the MARS basis and imposing a variation based complexity constraint. Our estimator can be computed via finite-dimensional convex optimization, although it is defined as a solution to an infinite-dimensional optimization problem. Under a few standard design assumptions, we prove that our estimator achieves a rate of convergence that depends only logarithmically on dimension and thus avoids the usual curse of dimensionality to some extent. We also show that our method is naturally connected to nonparametric estimation techniques based on smoothness constraints. We implement our method with a cross-validation scheme for the selection of the involved tuning parameter and compare it to the usual MARS method in various simulation and real data settings.
• Abstract（参考訳）: 多変量適応回帰スプライン(MARS)は、1991年にフリードマンによって導入された非パラメトリック回帰の一般的な方法である。 MARSは単純な非線形および非付加的な関数を回帰データに適合させる。 我々はMARS法の自然なラッソ変種を提案し,研究する。 本手法は,MARSに基づく関数の無限次元線形結合を考慮し,変動に基づく複雑性制約を課すことにより得られる関数の凸クラスに対する最小二乗推定に基づく。 我々の推定子は有限次元凸最適化によって計算できるが、無限次元最適化問題の解として定義される。 いくつかの標準的な設計仮定の下では、我々の推定器は次元に対数的にのみ依存する収束率を達成でき、従ってある程度に次元性の通常の呪いを避けることができる。 また,本手法はスムーズ性制約に基づく非パラメトリック推定手法と自然に結びついていることを示す。 本手法は,パラメータ選択のためのクロスバリデーション方式を用いて実装し,様々なシミュレーションや実データ設定において通常のMARS法と比較する。

関連論文リスト

• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• Dimension Reduction and MARS [4.525349089861123]
  適応回帰スプライン(MARS)は、非パラメトリック多変量回帰の一般的な推定法の一つである。 本稿では,十分次元の縮小を実現する共変数の線形結合を用いてMARSの性能を向上する。 数値的な研究と実証的な応用は、回帰推定と予測においてMARSや他の一般的な非パラメトリック法よりも効果と改善を示す。
  論文  参考訳（メタデータ） (2023-02-11T21:50:17Z)
• Riemannian Optimization for Variance Estimation in Linear Mixed Models [0.0]
  パラメータ空間の内在的幾何を利用した線形混合モデルにおけるパラメータ推定について、全く新しい見方をとる。 提案手法は,既存手法に比べて分散パラメータ推定精度が高い。
  論文  参考訳（メタデータ） (2022-12-18T13:08:45Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Robust Regression via Model Based Methods [13.300549123177705]
  モデルベース最適化 (MBO) [35, 36] に着想を得たアルゴリズムを提案し, 非対象を凸モデル関数に置き換える。 これをロバスト回帰に適用し、MBOの内部最適化を解くために、オンライン乗算器のオンライン交互方向法(OOADM) [50] の関数 SADM を提案する。 最後に、(a)アウトレーヤに対するl_pノルムのロバスト性、(b)オートエンコーダ法とマルチターゲット回帰法と比較して、提案したモデルベースアルゴリズムの効率性を実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-20T21:45:35Z)
• Parallel Stochastic Mirror Descent for MDPs [72.75921150912556]
  無限水平マルコフ決定過程(MDP)における最適政策学習の問題を考える。 リプシッツ連続関数を用いた凸プログラミング問題に対してミラー・ディクセントの変種が提案されている。 このアルゴリズムを一般の場合において解析し,提案手法の動作中に誤差を蓄積しない収束率の推定値を得る。
  論文  参考訳（メタデータ） (2021-02-27T19:28:39Z)
• Reduction of the Number of Variables in Parametric Constrained Least-Squares Problems [0.20305676256390928]
  本稿では,関連する最適化変数数を削減する手法を提案する。 本稿では, 非線形ベンチマークプロセスの数値実験および線形化MPC問題において, 提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2020-12-18T18:26:40Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• FREDE: Linear-Space Anytime Graph Embeddings [12.53022591889574]
  グラフのノードの低次元表現(埋め込み)は、データマイニング作業を容易にする。 FREquent Directions Embeddingは、類似度行列の行を個別に処理しながら、品質を反復的に改善するスケッチベースの手法である。 可変サイズのネットワークに対する評価は、FREDEがSVDと同等に動作し、多様なデータマイニングタスクにおける現在の最先端手法と競合することを示している。
  論文  参考訳（メタデータ） (2020-06-08T16:51:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。