論文の概要: Variance or Standard Deviation? Shell Geometry and Global-Scale Priors in High-Dimensional Shrinkage
- arxiv url: http://arxiv.org/abs/2606.23509v1
- Date: Mon, 22 Jun 2026 15:57:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 18:39:12.14589
- Title: Variance or Standard Deviation? Shell Geometry and Global-Scale Priors in High-Dimensional Shrinkage
- Title(参考訳): ばらつきと標準偏差 : 高次元収縮におけるシェル形状とグローバルスケール先行
- Authors: Wayne Yuan Gao, Zhiheng You,
- Abstract要約: 共通ガウススケールの既定値の選択が高次元収縮リスクに与える影響について検討する。
また, 標準偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差は, 偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差偏差
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study how the choice of default prior for a common Gaussian scale affects high-dimensional shrinkage risk, highlighting the role played by high-dimensional geometry. Formally, we consider a high-dimensional setting in which the near-zero behavior of the common scale prior has first-order consequences for shrinkage risk, and show that priors that are flat on the variance and those flat on the standard deviation allocate markedly different mass near the zero-scale boundary, leading to distinct shrinkage behavior and informing principled default prior selection. Specifically, under a radial-power benchmark, we establish that the SD-flat benchmark has a one-unit asymptotic risk advantage near the origin, crosses over in the critical regime, and is second-order equivalent to the variance-flat benchmark for strong signals. Proper single global-scale hyperpriors and bounded coordinate-multiplier mixtures inherit these limits through the near-zero exponent of their SD-scale density. For heavier-tailed or sparse priors, that exponent still classifies the common global-scale component, while local-scale tails, model-size priors, or allocation priors can also affect risk.
- Abstract(参考訳): 共通ガウススケールの既定値の選択が高次元収縮リスクにどのように影響するかを考察し、高次元幾何学で果たす役割を明らかにする。
形式的には,従来の共通スケールのほぼゼロに近い振舞いが収縮リスクの第一次結果をもたらすような高次元の設定を考察し,標準偏差の偏りと標準偏差の偏りがゼロスケール境界付近で顕著に異なる質量を割り当てていることを示す。
具体的には、放射パワーベンチマークに基づいて、SDフラットベンチマークは原点付近で1単位の漸近的リスク優位性を有し、臨界状態において交差し、強い信号に対する分散フラットベンチマークと同等の2次であることを示す。
優れた単一グローバルスケールハイパープライヤと有界座標乗算器混合物は、SDスケール密度のほぼゼロ指数によってこれらの制限を継承する。
ヘビーテールまたはスパースプリエントの場合、指数は依然として一般的なグローバルスケールコンポーネントを分類するが、ローカルスケールのテール、モデルサイズプリエント、アロケーションプリエントもリスクに影響を与える可能性がある。
関連論文リスト
- Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳(メタデータ) (2023-11-08T00:10:21Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳(メタデータ) (2023-10-31T16:13:22Z) - Learning Signed Hyper Surfaces for Oriented Point Cloud Normal Estimation [53.19926259132379]
我々は,符号付きハイパー曲面の学習による点雲の向きの正規分布推定のためのSHS-Netと呼ばれる新しい手法を提案する。
符号付き超曲面は、局所的および大域的な情報を集約する高次元特徴空間において暗黙的に学習される。
注意重み付き正規予測モジュールをデコーダとして提案し,局所およびグローバル潜時符号を入力として向きの正規を推定する。
論文 参考訳(メタデータ) (2023-05-10T03:40:25Z) - Tailoring to the Tails: Risk Measures for Fine-Grained Tail Sensitivity [10.482805367361818]
予測されるリスクアレンジメント(ERM)は、マシンラーニングシステムの中核にある。
本稿では,所望のテール感度を示すリスク対策を構築するための一般的な手法を提案する。
論文 参考訳(メタデータ) (2022-08-05T09:51:18Z) - Improving Generalization via Uncertainty Driven Perturbations [107.45752065285821]
トレーニングデータポイントの不確実性による摂動について考察する。
損失駆動摂動とは異なり、不確実性誘導摂動は決定境界を越えてはならない。
線形モデルにおいて,UDPがロバスト性マージン決定を達成することが保証されていることを示す。
論文 参考訳(メタデータ) (2022-02-11T16:22:08Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Tail-adaptive Bayesian shrinkage [13.47012617676478]
本研究では, テール適応収縮特性を有する多種多様なスパース状態下での頑健なスパース推定法を提案する。
本研究は, GLT 以前のテールルールが, 多様なスパシティ・レジームにおいて, ホースシューに基づく固定テールルールよりも有利であることを示す。
論文 参考訳(メタデータ) (2020-07-04T21:40:12Z) - Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in
High Dimensions [41.7567932118769]
経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。
本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
論文 参考訳(メタデータ) (2020-06-16T04:27:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。