論文の概要: Empirical Bayes Estimation for Lasso-Type Regularizers: Analysis of Automatic Relevance Determination

• arxiv url: http://arxiv.org/abs/2501.11280v1
• Date: Mon, 20 Jan 2025 05:25:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:19:27.016282
• Title: Empirical Bayes Estimation for Lasso-Type Regularizers: Analysis of Automatic Relevance Determination
• Title（参考訳）: ラッソ型正則化器の実証ベイズ推定:自動関係決定法の解析
• Authors: Tsukasa Yoshida, Kazuho Watanabe,
• Abstract要約: 本稿では、ラッソやグループラッソのような非共役空間誘導正則化器を用いた線形回帰モデルに焦点をあてる。 パラメータ数に制限のある群ラッソ正規化線形回帰モデルに対する経験的ベイズ推定器を導出する。
• 参考スコア（独自算出の注目度）: 0.21485350418225244
• License:
• Abstract: This paper focuses on linear regression models with non-conjugate sparsity-inducing regularizers such as lasso and group lasso. Although empirical Bayes approach enables us to estimate the regularization parameter, little is known on the properties of the estimators. In particular, there are many unexplained aspects regarding the specific conditions under which the mechanism of automatic relevance determination (ARD) occurs. In this paper, we derive the empirical Bayes estimators for the group lasso regularized linear regression models with a limited number of parameters. It is shown that the estimators diverge under a certain condition, giving rise to the ARD mechanism. We also prove that empirical Bayes methods can produce ARD mechanism in general regularized linear regression models and clarify the conditions under which models such as ridge, lasso, and group lasso can produce ARD mechanism.
• Abstract（参考訳）: 本稿では、ラッソやグループラッソのような非共役空間誘導正則化器を用いた線形回帰モデルに焦点をあてる。 経験的ベイズ手法により正規化パラメータを推定できるが、推定器の特性についてはほとんど分かっていない。 特に、自動関係決定(ARD)のメカニズムが生じる特定の条件について、多くの説明されていない側面がある。 本稿では,パラメータ数に制限のある群ラッソ正規化線形回帰モデルに対して,経験的ベイズ推定器を導出する。 推定器は特定の条件下で分岐し、ARD機構が生じることが示されている。 また,経験的ベイズ法は一般正規化線形回帰モデルにおいてARD機構を生成できることを示すとともに,リッジ,ラッソ,グループラッソなどのモデルがARD機構を生成できる条件を明らかにする。

関連論文リスト

• Induced Covariance for Causal Discovery in Linear Sparse Structures [55.2480439325792]
  因果モデルでは、観測データから変数間の因果関係を解き明かそうとしている。 本稿では,変数が線形に疎結合な関係を示す設定のための新しい因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-02T04:01:38Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Variational Inference of Parameters in Opinion Dynamics Models [9.51311391391997]
  この研究は、変数推論を用いて、意見力学 ABM のパラメータを推定する。 我々は推論プロセスを自動微分に適した最適化問題に変換する。 提案手法は, シミュレーションベース法とMCMC法より, マクロ的(有界信頼区間とバックファイア閾値)と微視的(200ドル, エージェントレベルの役割)の両方を正確に推定する。
  論文  参考訳（メタデータ） (2024-03-08T14:45:18Z)
• Conformal Approach To Gaussian Process Surrogate Evaluation With Coverage Guarantees [47.22930583160043]
  適応型クロスコンフォーマル予測区間を構築する手法を提案する。 結果として生じる共形予測区間は、ベイズ的信頼性集合に類似した適応性のレベルを示す。 原子炉の蒸気発生器における閉鎖現象の高コスト・評価シミュレータのサロゲートモデリングの文脈において, 本手法の適用可能性を示す。
  論文  参考訳（メタデータ） (2024-01-15T14:45:18Z)
• Convex Parameter Estimation of Perturbed Multivariate Generalized Gaussian Distributions [18.95928707619676]
  本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。 提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。 実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
  論文  参考訳（メタデータ） (2023-12-12T18:08:04Z)
• Generalized generalized linear models: Convex estimation and online bounds [11.295523372922533]
  モデルのクラス(GL-based)モデル(GGLM)に不等式を導入する。 提案手法は, モデル間の非時間的変動を克服するために, 演算子に基づくアプローチを用いる。 本稿では,数値シミュレーションと実データを用いたインシデントの実例を示す。
  論文  参考訳（メタデータ） (2023-04-26T19:19:42Z)
• On LASSO for High Dimensional Predictive Regression [0.0]
  本稿では,L_1$-penalized regression法であるLASSOを高次元線形回帰法で検討する。 LASSOの整合性は、回帰器の交叉積の偏差境界と誤差項の2つの重要な成分に基づいて決定される。 機械学習とマクロ経済分野の専門知識を用いて、LASSOは失業率の予測において高いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-12-14T06:14:58Z)
• Time varying regression with hidden linear dynamics [74.9914602730208]
  線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。 反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
  論文  参考訳（メタデータ） (2021-12-29T23:37:06Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• The Variational Method of Moments [65.91730154730905]
  条件モーメント問題は、観測可能量の観点から構造因果パラメータを記述するための強力な定式化である。 OWGMMの変動最小値再構成により、条件モーメント問題に対する非常に一般的な推定器のクラスを定義する。 同じ種類の変分変換に基づく統計的推測のためのアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2020-12-17T07:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。