論文の概要: Tail-adaptive Bayesian shrinkage

• arxiv url: http://arxiv.org/abs/2007.02192v2
• Date: Wed, 13 Jan 2021 03:47:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 13:54:19.875353
• Title: Tail-adaptive Bayesian shrinkage
• Title（参考訳）: テール適応ベイズ収縮
• Authors: Se Yoon Lee, Debdeep Pati, Bani K. Mallick
• Abstract要約: 本研究では,グローバル・ローカル・テール(GLT)ガウス混合分布を提案する。 我々は,2つの遺伝子発現データセットと数値例において,ホースシュー以前のGLTの性能を比較した。 結果は、異なる尾則が、多様な疎性領域の下での固定尾則よりも有利であることを示唆している。
• 参考スコア（独自算出の注目度）: 4.898659895355356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern genomic studies are increasingly focused on discovering more and more interesting genes associated with a health response. Traditional shrinkage priors are primarily designed to detect a handful of signals from tens and thousands of predictors. Under diverse sparsity regimes, the nature of signal detection is associated with a tail behaviour of a prior. A desirable tail behaviour is called tail-adaptive shrinkage property where tail-heaviness of a prior gets adaptively larger (or smaller) as a sparsity level increases (or decreases) to accommodate more (or less) signals. We propose a global-local-tail (GLT) Gaussian mixture distribution to ensure this property and provide accurate inference under diverse sparsity regimes. Incorporating a peaks-over-threshold method in extreme value theory, we develop an automated tail learning algorithm for the GLT prior. We compare the performance of the GLT prior to the Horseshoe in two gene expression datasets and numerical examples. Results suggest that varying tail rule is advantageous over fixed tail rule under diverse sparsity domains.
• Abstract（参考訳）: 現代のゲノム研究は、健康反応に関連するより興味深い遺伝子の発見にますます力を入れている。 従来の縮小前兆は、主に数十から数千の予測器からのわずかな信号を検出するように設計されている。 多様な疎性体制の下では、信号検出の性質は前者の尾の動きと関連している。 望ましいテールの振舞いはテール適応収縮特性(tail-adaptive shrinkage property)と呼ばれ、余剰レベルが増加(あるいは減少)してより多くの(または少ない)信号に対応すると、前者のテール重みが適応的に大きくなる。 本研究では,グローバル・ローカル・テール(GLT)ガウス混合分布を提案する。 極値理論にピーク・オーバー・スレッショルド法を組み込んで,gltプリエントの自動テール学習アルゴリズムを開発した。 我々は2つの遺伝子発現データセットと数値例において,ホースシュー以前のGLTの性能を比較した。 その結果, 多様なスパーシティ領域において, 異なるテールルールは固定テールルールよりも有利であることが示唆された。

関連論文リスト

• Curvature-Informed SGD via General Purpose Lie-Group Preconditioners [6.760212042305871]
  曲率情報を利用して勾配降下(SGD)を加速する新しい手法を提案する。 提案手法は,行列フリープレコンディショナーと低ランクプレコンディショナーの2つのプレコンディショナーを含む。 プレコンディショニングされたSGD(PSGD)は、ビジョン、NLP、RLタスクにおいてSoTAよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-07T03:18:00Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• The Choice of Noninformative Priors for Thompson Sampling in Multiparameter Bandit Models [56.31310344616837]
  トンプソンサンプリング(TS)は、様々な報酬モデルにまたがる理論的な保証によって支持される卓越した経験的性能で知られている。 本研究では,理論的理解の欠如のある新しいモデルを扱う際に,非形式的事前選択がTSの性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2023-02-28T08:42:42Z)
• Fat-Tailed Variational Inference with Anisotropic Tail Adaptive Flows [53.32246823168763]
  脂肪尾密度は、一般に、ロバストモデルとスケール混合における後縁および辺縁分布として生じる。 我々はまず、尾が尾崩壊の速度にどのように影響するかを定量化することで、リプシッツフローの尾に関する以前の理論を改善した。 次に、テール異方性に敏感なテールパラメータの代替理論を開発する。
  論文  参考訳（メタデータ） (2022-05-16T18:03:41Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• A Dimensionality Reduction Method for Finding Least Favorable Priors with a Focus on Bregman Divergence [108.28566246421742]
  そこで本研究では,次元に明示的な有界な有限次元設定に最適化を移動させることができる次元削減法を開発した。 この問題を進展させるため、比較的大きな損失関数、すなわちブレグマンの発散によって引き起こされるベイズ的リスクに限定する。
  論文  参考訳（メタデータ） (2022-02-23T16:22:28Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。