論文の概要: Heteroscedastic Double Bayesian Elastic Net

• arxiv url: http://arxiv.org/abs/2502.02032v1
• Date: Tue, 04 Feb 2025 05:44:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:16.242866
• Title: Heteroscedastic Double Bayesian Elastic Net
• Title（参考訳）: ヘテロセダスティックダブルベイズ弾性ネット
• Authors: Masanari Kimura,
• Abstract要約: 平均分散と対数分散を共同でモデル化する新しいフレームワークであるヘテロセダスティックダブルベイズ弾性ネット(HDBEN)を提案する。 本手法は, 回帰係数と分散パラメータの分散とグループ化を同時に引き起こし, データの複雑な分散構造を捉える。
• 参考スコア（独自算出の注目度）: 1.1240642213359266
• License:
• Abstract: In many practical applications, regression models are employed to uncover relationships between predictors and a response variable, yet the common assumption of constant error variance is frequently violated. This issue is further compounded in high-dimensional settings where the number of predictors exceeds the sample size, necessitating regularization for effective estimation and variable selection. To address this problem, we propose the Heteroscedastic Double Bayesian Elastic Net (HDBEN), a novel framework that jointly models the mean and log-variance using hierarchical Bayesian priors incorporating both $\ell_1$ and $\ell_2$ penalties. Our approach simultaneously induces sparsity and grouping in the regression coefficients and variance parameters, capturing complex variance structures in the data. Theoretical results demonstrate that proposed HDBEN achieves posterior concentration, variable selection consistency, and asymptotic normality under mild conditions which justifying its behavior. Simulation studies further illustrate that HDBEN outperforms existing methods, particularly in scenarios characterized by heteroscedasticity and high dimensionality.
• Abstract（参考訳）: 多くの実践的応用において、回帰モデルは予測子と応答変数の関係を明らかにするために使用されるが、定数誤差分散の一般的な仮定はしばしば破られる。 この問題は、予測器の数がサンプルサイズを超えるような高次元的な設定でさらに複雑化され、効果的な推定と変数選択のために正規化が必要となる。 この問題を解決するために,HDBEN(Heteroscedastic Double Bayesian Elastic Net)を提案する。 本手法は, 回帰係数と分散パラメータの分散とグループ化を同時に引き起こし, データの複雑な分散構造を捉える。 理論的には,提案したHDBENは,その挙動を正当化する軽度条件下で,後部濃度,変動選択整合性,漸近正規性を達成できることが示されている。 さらにシミュレーション研究により、HDBENは既存の手法よりも優れており、特にヘテロ代数学性と高次元性によって特徴づけられるシナリオにおいて優れていることが示されている。

関連論文リスト

• Variational empirical Bayes variable selection in high-dimensional logistic regression [2.4032899110671955]
  我々は,その新しい,計算効率の良い変分近似を開発した。 そのようなノベルティの1つは、回帰係数自身ではなく、モデル空間上の辺分布に対してこの近似を直接発展させることである。 シミュレーションにおいて,本手法の強い性能を実証し,我々の変分近似が近似している後部分布で満たされる強い選択整合性を引き継ぐことを証明した。
  論文  参考訳（メタデータ） (2025-02-14T19:57:13Z)
• Causal Invariance Learning via Efficient Optimization of a Nonconvex Objective [12.423111378195667]
  本稿では,変数間の因果関係を求める新しい手法を提案する。 本手法は標準勾配法に収束することを示す。 我々のアルゴリズムは徹底的な探索を回避し、特に共変数が多ければなおさらである。
  論文  参考訳（メタデータ） (2024-12-16T15:11:02Z)
• Statistical Inference in Classification of High-dimensional Gaussian Mixture [1.2354076490479515]
  高次元極限における正規化凸分類器の一般クラスの挙動について検討する。 我々の焦点は、推定器の一般化誤差と変数選択性である。
  論文  参考訳（メタデータ） (2024-10-25T19:58:36Z)
• Analysis of Bootstrap and Subsampling in High-dimensional Regularized Regression [29.57766164934947]
  統計モデルの不確実性を推定するための一般的な再サンプリング手法について検討する。 一般化線形モデル(英語版)の文脈において、これらの手法によって推定されるバイアスと分散の厳密な記述を提供する。
  論文  参考訳（メタデータ） (2024-02-21T08:50:33Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Understanding Pathologies of Deep Heteroskedastic Regression [25.509884677111344]
  ヘテロスケダスティックモデルは各データポイントの平均ノイズと残留ノイズの両方を予測する。 極端に言えば、これらのモデルはすべてのトレーニングデータを完璧に適合させ、残音を完全に排除する。 他方では、一定で非形式的な平均を予測しながら残音を過度に補正する。 中間地盤の欠如を観察し, モデル正則化強度に依存する相転移を示唆した。
  論文  参考訳（メタデータ） (2023-06-29T06:31:27Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。