論文の概要: Variational empirical Bayes variable selection in high-dimensional logistic regression

• arxiv url: http://arxiv.org/abs/2502.10532v1
• Date: Fri, 14 Feb 2025 19:57:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:35.505177
• Title: Variational empirical Bayes variable selection in high-dimensional logistic regression
• Title（参考訳）: 高次元ロジスティック回帰における変分ベイズ変分選択
• Authors: Yiqi Tang, Ryan Martin,
• Abstract要約: 我々は,その新しい,計算効率の良い変分近似を開発した。 そのようなノベルティの1つは、回帰係数自身ではなく、モデル空間上の辺分布に対してこの近似を直接発展させることである。 シミュレーションにおいて,本手法の強い性能を実証し,我々の変分近似が近似している後部分布で満たされる強い選択整合性を引き継ぐことを証明した。
• 参考スコア（独自算出の注目度）: 2.4032899110671955
• License:
• Abstract: Logistic regression involving high-dimensional covariates is a practically important problem. Often the goal is variable selection, i.e., determining which few of the many covariates are associated with the binary response. Unfortunately, the usual Bayesian computations can be quite challenging and expensive. Here we start with a recently proposed empirical Bayes solution, with strong theoretical convergence properties, and develop a novel and computationally efficient variational approximation thereof. One such novelty is that we develop this approximation directly for the marginal distribution on the model space, rather than on the regression coefficients themselves. We demonstrate the method's strong performance in simulations, and prove that our variational approximation inherits the strong selection consistency property satisfied by the posterior distribution that it is approximating.
• Abstract（参考訳）: 高次元共変量を含むロジスティック回帰は、事実上重要な問題である。 多くの場合、目的は変数選択、すなわち、多くの共変体のうちどの部分がバイナリ応答に関連付けられているかを決定することである。 残念なことに、通常のベイズ計算は非常に困難で高価である。 ここでは、強い理論収束特性を持つ最近提案された経験的ベイズ解から始め、その新しい計算効率の良い変分近似を開発する。 そのようなノベルティの1つは、回帰係数自身ではなく、モデル空間上の辺分布に対してこの近似を直接発展させることである。 シミュレーションにおいて,本手法の強い性能を実証し,我々の変分近似が近似している後部分布で満たされる強い選択整合性を引き継ぐことを証明した。

関連論文リスト

• Distributed High-Dimensional Quantile Regression: Estimation Efficiency and Support Recovery [0.0]
  我々は高次元線形量子レグレッションのための分散推定とサポート回復に焦点をあてる。 元の量子レグレッションを最小二乗最適化に変換する。 効率的なアルゴリズムを開発し、高い計算と通信効率を享受する。
  論文  参考訳（メタデータ） (2024-05-13T08:32:22Z)
• Deep Generative Symbolic Regression [83.04219479605801]
  記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:05:31Z)
• Multi-Response Heteroscedastic Gaussian Process Models and Their Inference [1.52292571922932]
  本稿ではヘテロセダスティック共分散関数のモデリングのための新しいフレームワークを提案する。 後部モデルに近似し, 後部予測モデルを容易にするために, 変分推論を用いる。 提案するフレームワークは,幅広いアプリケーションに対して,堅牢で汎用的なツールを提供する。
  論文  参考訳（メタデータ） (2023-08-29T15:06:47Z)
• A flexible empirical Bayes approach to multiple linear regression and connections with penalized regression [8.663322701649454]
  大規模多重回帰に対する新しい経験的ベイズ手法を提案する。 当社のアプローチでは、フレキシブルな"適応縮小"と変分近似の2つの主要なアイデアが組み合わさっている。 提案手法では, 後進平均値がペナル化回帰問題を解く。
  論文  参考訳（メタデータ） (2022-08-23T12:42:57Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• Mixtures of Gaussian Processes for regression under multiple prior distributions [0.0]
  ガウス過程回帰のための混合モデルの概念を拡張し、複数の先行する信念を同時に扱う。 本手法は,関数回帰問題における先行的誤特定の問題を考慮に入れたものである。
  論文  参考訳（メタデータ） (2021-04-19T10:19:14Z)
• Isotonic regression with unknown permutations: Statistics, computation, and adaptation [13.96377843988598]
  我々は、推定のミニマックスリスク(実証的な$L$損失)と適応の基本的な限界(適応度指数で定式化)について検討する。 バニラ時間プロシージャで可能な最小適応率を達成しつつ、最小限の最適化が可能なミルスキー分割推定器を提供する。 相補的な方向において、既存の推定器の自然な修正は、デシデラタの最適統計性能、計算効率、高速適応の少なくとも1つを満たすことができないことを示す。
  論文  参考訳（メタデータ） (2020-09-05T22:17:51Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。