論文の概要: Tail-adaptive Bayesian shrinkage

• arxiv url: http://arxiv.org/abs/2007.02192v4
• Date: Mon, 19 Feb 2024 18:19:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 22:06:09.245448
• Title: Tail-adaptive Bayesian shrinkage
• Title（参考訳）: テール適応ベイズ収縮
• Authors: Se Yoon Lee, Peng Zhao, Debdeep Pati, Bani K. Mallick
• Abstract要約: 本研究では, テール適応収縮特性を有する多種多様なスパース状態下での頑健なスパース推定法を提案する。 本研究は, GLT 以前のテールルールが, 多様なスパシティ・レジームにおいて, ホースシューに基づく固定テールルールよりも有利であることを示す。
• 参考スコア（独自算出の注目度）: 14.715145160848897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust Bayesian methods for high-dimensional regression problems under diverse sparse regimes are studied. Traditional shrinkage priors are primarily designed to detect a handful of signals from tens of thousands of predictors in the so-called ultra-sparsity domain. However, they may not perform desirably when the degree of sparsity is moderate. In this paper, we propose a robust sparse estimation method under diverse sparsity regimes, which has a tail-adaptive shrinkage property. In this property, the tail-heaviness of the prior adjusts adaptively, becoming larger or smaller as the sparsity level increases or decreases, respectively, to accommodate more or fewer signals, a posteriori. We propose a global-local-tail (GLT) Gaussian mixture distribution that ensures this property. We examine the role of the tail-index of the prior in relation to the underlying sparsity level and demonstrate that the GLT posterior contracts at the minimax optimal rate for sparse normal mean models. We apply both the GLT prior and the Horseshoe prior to a real data problem and simulation examples. Our findings indicate that the varying tail rule based on the GLT prior offers advantages over a fixed tail rule based on the Horseshoe prior in diverse sparsity regimes.
• Abstract（参考訳）: 多様なスパースレジームの下での高次元回帰問題に対するロバストベイズ法について検討した。 従来の縮小前処理は、いわゆる超分離領域において、数万の予測器から少数の信号を検出するように設計されている。 しかし、疎度が適度である場合には好ましくは行わない。 本稿では,末尾適応収縮特性を有する多様なスパース性条件下でのロバストなスパース推定法を提案する。 この特性において、前者のテール重みは順応的に調整され、スパーシティレベルが上昇または減少するにつれて大きくまたは小さくなり、後続信号が多かれ少なかれ適応する。 この特性を保証するため,グローバルローカルテール(GLT)ガウス混合分布を提案する。 本研究では,sparsityレベルとの関連において,前者のtail-indexの役割を検証し,sparse正規平均モデルのminimax最適速度でglt後端が収縮することを示す。 実データ問題やシミュレーションの例に先立って,gltプリミティブとホースシューの両方を適用する。 以上の結果から,GLT先行法に基づく尾部規則は,多種多様性体制におけるHorseshoe法に基づく固定尾部規則よりも有利であることが示唆された。

関連論文リスト

• Curvature-Informed SGD via General Purpose Lie-Group Preconditioners [6.760212042305871]
  曲率情報を利用して勾配降下(SGD)を加速する新しい手法を提案する。 提案手法は,行列フリープレコンディショナーと低ランクプレコンディショナーの2つのプレコンディショナーを含む。 プレコンディショニングされたSGD(PSGD)は、ビジョン、NLP、RLタスクにおいてSoTAよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-07T03:18:00Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• The Choice of Noninformative Priors for Thompson Sampling in Multiparameter Bandit Models [56.31310344616837]
  トンプソンサンプリング(TS)は、様々な報酬モデルにまたがる理論的な保証によって支持される卓越した経験的性能で知られている。 本研究では,理論的理解の欠如のある新しいモデルを扱う際に,非形式的事前選択がTSの性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2023-02-28T08:42:42Z)
• Fat-Tailed Variational Inference with Anisotropic Tail Adaptive Flows [53.32246823168763]
  脂肪尾密度は、一般に、ロバストモデルとスケール混合における後縁および辺縁分布として生じる。 我々はまず、尾が尾崩壊の速度にどのように影響するかを定量化することで、リプシッツフローの尾に関する以前の理論を改善した。 次に、テール異方性に敏感なテールパラメータの代替理論を開発する。
  論文  参考訳（メタデータ） (2022-05-16T18:03:41Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• A Dimensionality Reduction Method for Finding Least Favorable Priors with a Focus on Bregman Divergence [108.28566246421742]
  そこで本研究では,次元に明示的な有界な有限次元設定に最適化を移動させることができる次元削減法を開発した。 この問題を進展させるため、比較的大きな損失関数、すなわちブレグマンの発散によって引き起こされるベイズ的リスクに限定する。
  論文  参考訳（メタデータ） (2022-02-23T16:22:28Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。