論文の概要: GRASP: Grouped Regression with Adaptive Shrinkage Priors

• arxiv url: http://arxiv.org/abs/2506.18092v1
• Date: Sun, 22 Jun 2025 16:35:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.743403
• Title: GRASP: Grouped Regression with Adaptive Shrinkage Priors
• Title（参考訳）: GRASP: Adaptive Shrinkage Presidesによるグループ回帰
• Authors: Shu Yu Tew, Daniel F. Schmidt, Mario Boley,
• Abstract要約: グループ予測器を用いた回帰のための単純なベイズ的フレームワークであるGRASPを紹介する。 NBP 先行は、ホースシューの適応的な一般化である。 複雑な階層構造を必要とせずに直接尾部を制御することは十分であることを示す。
• 参考スコア（独自算出の注目度）: 2.7241418453016792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce GRASP, a simple Bayesian framework for regression with grouped predictors, built on the normal beta prime (NBP) prior. The NBP prior is an adaptive generalization of the horseshoe prior with tunable hyperparameters that control tail behavior, enabling a flexible range of sparsity, from strong shrinkage to ridge-like regularization. Unlike prior work that introduced the group inverse-gamma gamma (GIGG) prior by decomposing the NBP prior into structured hierarchies, we show that directly controlling the tails is sufficient without requiring complex hierarchical constructions. Extending the non-tail adaptive grouped half-Cauchy hierarchy of Xu et al., GRASP assigns the NBP prior to both local and group shrinkage parameters allowing adaptive sparsity within and across groups. A key contribution of this work is a novel framework to explicitly quantify correlations among shrinkage parameters within a group, providing deeper insights into grouped shrinkage behavior. We also introduce an efficient Metropolis-Hastings sampler for hyperparameter estimation. Empirical results on simulated and real-world data demonstrate the robustness and versatility of GRASP across grouped regression problems with varying sparsity and signal-to-noise ratios.
• Abstract（参考訳）: 我々は、正規ベータ素数(NBP)上に構築されたグループ予測器を用いた回帰のための単純なベイズ的フレームワークであるGRASPを紹介する。 NBP 以前の手法は、尾の挙動を制御し、強い収縮から尾根のような正則化まで柔軟な範囲の空間を許容する、調整可能なハイパーパラメータを前もって乗馬靴の適応的な一般化である。 群逆ガンマガンマ (GIGG) を導入した以前の研究とは異なり、NAP を構造的階層に分解することで、尾部を直接制御することは複雑な階層構造を必要とすることなく十分であることを示す。 GRASPは、Xu et al の非尾適応群半コーシー階層を拡張し、局所的および群縮小パラメータに先立って NBP を割り当て、グループ内およびグループ間の適応的な間隔を許容する。 この研究の重要な貢献は、グループ内の収縮パラメータ間の相関を明示的に定量化し、グループ化された収縮挙動に関する深い洞察を与える新しいフレームワークである。 また、ハイパーパラメータ推定のための効率的なメトロポリス・ハスティングスサンプリング装置も導入する。 シミュレーションおよび実世界のデータを用いた実験結果から,グループ回帰問題におけるGRASPの頑健性と汎用性を示す。

関連論文リスト

• Implicit Bias and Fast Convergence Rates for Self-attention [26.766649949420746]
  本稿では,変圧器の定義機構である自己注意の基本的な最適化原理について考察する。 線形分類におけるデコーダを用いた自己アテンション層における勾配ベースの暗黙バイアスを解析する。
  論文  参考訳（メタデータ） (2024-02-08T15:15:09Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network [59.79008107609297]
  本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。 サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。 パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
  論文  参考訳（メタデータ） (2023-05-30T19:16:44Z)
• Black Box Lie Group Preconditioners for SGD [13.30021794793606]
  勾配降下の収束を加速するために,行列自由および低階近似プレコンディショナーを提案する。 パラメータ更新の学習速度とプレコンディショナリングのステップサイズは自然に正規化され、デフォルト値はほとんどの状況でうまく機能する。
  論文  参考訳（メタデータ） (2022-11-08T18:07:08Z)
• Cluster Regularization via a Hierarchical Feature Regression [0.0]
  本稿では,階層的特徴回帰(HFR)という新しいクラスタベース正規化を提案する。 機械学習とグラフ理論の領域からの洞察を動員し、予測セットの教師付き階層表現に沿ってパラメータを推定する。 経済成長予測への応用は、実証的な環境でのHFRの有効性を示すために用いられる。
  論文  参考訳（メタデータ） (2021-07-10T13:03:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。