論文の概要: Proximal Iteration for Nonlinear Adaptive Lasso

• arxiv url: http://arxiv.org/abs/2412.05726v1
• Date: Sat, 07 Dec 2024 19:19:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:58:13.682906
• Title: Proximal Iteration for Nonlinear Adaptive Lasso
• Title（参考訳）: 非線形適応型ラッソの近位反復
• Authors: Nathan Wycoff, Lisa O. Singh, Ali Arab, Katharine M. Donato,
• Abstract要約: 本研究では,ペナルティ係数をテキスト・マックス・ア・ポストリオリ方式で学習するための追加決定変数として扱うアプローチについて検討する。 そこで我々は, 相異なるコスト関数のパラメータとともに, 共同最適化のための近似勾配法を開発した。
• 参考スコア（独自算出の注目度）: 1.866597543169743
• License:
• Abstract: Augmenting a smooth cost function with an $\ell_1$ penalty allows analysts to efficiently conduct estimation and variable selection simultaneously in sophisticated models and can be efficiently implemented using proximal gradient methods. However, one drawback of the $\ell_1$ penalty is bias: nonzero parameters are underestimated in magnitude, motivating techniques such as the Adaptive Lasso which endow each parameter with its own penalty coefficient. But it's not clear how these parameter-specific penalties should be set in complex models. In this article, we study the approach of treating the penalty coefficients as additional decision variables to be learned in a \textit{Maximum a Posteriori} manner, developing a proximal gradient approach to joint optimization of these together with the parameters of any differentiable cost function. Beyond reducing bias in estimates, this procedure can also encourage arbitrary sparsity structure via a prior on the penalty coefficients. We compare our method to implementations of specific sparsity structures for non-Gaussian regression on synthetic and real datasets, finding our more general method to be competitive in terms of both speed and accuracy. We then consider nonlinear models for two case studies: COVID-19 vaccination behavior and international refugee movement, highlighting the applicability of this approach to complex problems and intricate sparsity structures.
• Abstract（参考訳）: 円滑なコスト関数を$\ell_1$ペナルティで拡張することで、アナリストは高度なモデルで同時に推定と変数の選択を効率的に行え、近似勾配法を用いて効率的に実装することができる。 しかしながら、$\ell_1$のペナルティの1つの欠点はバイアスであり、非ゼロパラメータは桁違いに過小評価され、各パラメータに独自のペナルティ係数を付与するAdaptive Lassoのようなモチベーションのテクニックである。 しかし、これらのパラメータ固有の罰則が複雑なモデルでどのように設定されるべきなのかは明らかではない。 本稿では, ペナルティ係数を<textit{Maximum a Posteriori} 方式で学習するための追加決定変数として扱うアプローチについて検討し, 様々なコスト関数のパラメータと組み合わせて, 共同最適化のための近似勾配法を開発する。 推定におけるバイアスの低減に加えて、この手順は、ペナルティ係数の事前による任意のスパーシティ構造を促進させることもできる。 我々は,合成データセットと実データセットの非ガウス回帰のための特定の空間構造の実装と比較し,速度と精度の両面で競合するより一般的な手法を見出した。 次に、新型コロナウイルスワクチン接種行動と国際難民運動の2つのケーススタディの非線形モデルを検討する。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Parameter-Agnostic Optimization under Relaxed Smoothness [25.608968462899316]
  本研究では,モメンタムを用いた正規化グラディエントDescence (NSGD-M) が,問題パラメータの事前知識を必要とせずに,速度-最適の複雑性を実現できることを示す。 決定論的設定では、指数係数は、バックトラックラインサーチによるグラディエント・ディクスト(Gradient Descent)を用いることで、中和することができる。
  論文  参考訳（メタデータ） (2023-11-06T16:39:53Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Sparse Bayesian Learning for Complex-Valued Rational Approximations [0.03392423750246091]
  サロゲートモデルは、エンジニアリングタスクの計算負担を軽減するために使用される。 これらのモデルは入力パラメータに強い非線形依存を示す。 合理的近似にスパース学習アプローチを適用する。
  論文  参考訳（メタデータ） (2022-06-06T12:06:13Z)
• COCO Denoiser: Using Co-Coercivity for Variance Reduction in Stochastic Convex Optimization [4.970364068620608]
  我々は,勾配オラクルによって出力される雑音の推定値を改善するために,凸性およびL平滑性を利用する。 問合せ点の数と近さの増加は、より良い勾配推定に繋がることを示す。 また、SGD、Adam、STRSAGAといった既存のアルゴリズムにCOCOをプラグインすることで、バニラ設定にもCOCOを適用します。
  論文  参考訳（メタデータ） (2021-09-07T17:21:09Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• DiffPrune: Neural Network Pruning with Deterministic Approximate Binary Gates and $L_0$ Regularization [0.0]
  現代のニューラルネットワークアーキテクチャは通常、数百万のパラメータを持ち、有効性を著しく損なうことなく、大幅に刈り取ることができる。 この作品の貢献は2つある。 1つ目は、任意の実数値確率変数の決定論的かつ微分可能変換によって多変量ベルヌーイ確率変数を近似する方法である。 2つ目は、決定論的あるいは乗法的に計算され、正確なゼロ値を取る近似二進ゲートを持つ要素的パラメータによるモデル選択の方法である。
  論文  参考訳（メタデータ） (2020-12-07T13:08:56Z)
• Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
  予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。 本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。 本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-04T00:26:56Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。