論文の概要: Sparsity by Default: The Theory and Practice of ARD in Gaussian Process Regression for Variable Selection

• arxiv url: http://arxiv.org/abs/2609.33550v1
• Date: Sun, 27 Sep 2026 13:19:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:51:12.317734
• Title: Sparsity by Default: The Theory and Practice of ARD in Gaussian Process Regression for Variable Selection
• Title（参考訳）: デフォルトによるスパシティ:可変選択のためのガウス過程回帰におけるARDの理論と実践
• Abstract要約: 自動妥当性決定(ARD)はガウス過程(GP)回帰における入力選択のための標準装置である。 ARDは、カーネル学習とのシームレスな統合、ユニバーサルソフトウェアのサポート、低コストによって、耐えられると我々は主張する。
• 参考スコア（独自算出の注目度）: 1.9493449206135296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic relevance determination (ARD) is the standard device for input selection in Gaussian process (GP) regression. By giving the covariance kernel a separate lengthscale for every input and learning those lengthscales by maximizing the marginal likelihood, ARD lets the data decide which coordinates matter: irrelevant inputs receive very large lengthscales and are effectively switched off. We trace this mechanism to the Bayesian Occam's razor embodied in the marginal likelihood, derive the gradient through which it prunes inputs, and emphasize that ARD delivers effective rather than exact sparsity. We review the algorithms used in practice and the rules that turn lengthscales into selections, and we survey the asymptotic theory, distinguishing the fixed-domain identifiability obstruction on the lengthscales from the high-dimensional selection-consistency guarantees recently established for hierarchical GP priors, and noting what remains open for plain ARD. We compare ARD with spike-and-slab priors, sparse axis-aligned and global-local shrinkage priors including the Bayesian lasso and horseshoe, penalized likelihood kriging, sensitivity and projection criteria, and additive kernels. We argue that ARD endures because of its seamless integration with kernel learning, universal software support, and low cost, and we close with its limitations and remedies.
• Abstract（参考訳）: 自動妥当性決定(ARD)はガウス過程(GP)回帰における入力選択のための標準装置である。 すべての入力に対して共分散カーネルに独立した長さスケールを与え、それらの長さスケールを最大化して学習することにより、ARDはデータにどの座標が重要かを決定させる:無関係な入力は非常に大きな長さスケールを受け取り、効果的に切り離される。 我々はこのメカニズムをベイジアン・オッカムのカミソリに追従し、それが入力を産み出す勾配を導出し、ARDが正確な空間性よりも効果的に提供することを強調した。 提案手法は, 提案手法のアルゴリズムと, 長さ尺度を選択に転換する規則を概観し, 長さ尺度上の固定領域識別可能性障害を, 階層型GPプリエントに対して最近確立された高次元選択整合性保証と区別し, 通常のARDのオープン性に留意する。 我々はARDとスパイク・アンド・スラブ前駆体と、ベイジアン・ラッソやホースシューなどの局所的縮小前駆体、ペナル化可能性クリグ、感度および投射基準、加法核を比較した。 ARDは、カーネル学習とのシームレスな統合、ユニバーサルソフトウェアのサポート、低コストのため、耐えられると我々は主張する。

関連論文リスト

• PAC-Bayesian Certificates for Quadratic Closed-Loop Control [0.0]
  PAC-ベイズ境界は、データ依存予測器に対する有限サンプル保証を提供する。 学習に基づく制御にそれらを適用することは、自然な目的が二次的な軌道コストであるため困難である。 PAC-Bayes-Chernoff 証明書の集合を,実現可能な閉ループ応答に対する後部分布として提供する。
  論文  参考訳（メタデータ） (2026-06-26T17:24:21Z)
• Practical Global and Local Bounds in Gaussian Process Regression via Chaining [4.500208956289746]
  本稿では,予期しないデータに対する期待値の上限値と下限値を推定するための連鎖に基づくフレームワークを提案する。 また,特定入力における局所不確実性定量化手法を開発した。
  論文  参考訳（メタデータ） (2025-11-12T09:30:01Z)
• Neighbour-Driven Gaussian Process Variational Autoencoders for Scalable Structured Latent Modelling [14.358070928996069]
  ガウス過程 (GP) 変分オートエンコーダ (VAEs) は、完全に分解されたガウス前処理をGP前処理に置き換えることで標準のVAEを拡張する。 大規模GPVAEにおける正確なGP推論の実行は、計算的に禁止されており、しばしば既存のアプローチは制限的なカーネルの仮定に頼らざるを得ない。 本稿では,拡張性のあるGPVAE推論を実現するために,潜在空間における局所的隣接性を利用する近似手法を提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:07:33Z)
• On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
  勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。 本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。 本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
  論文  参考訳（メタデータ） (2024-12-27T20:29:47Z)
• Refined Risk Bounds for Unbounded Losses via Transductive Priors [67.12679195076387]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• A Unified Joint Maximum Mean Discrepancy for Domain Adaptation [73.44809425486767]
  本論文は,最適化が容易なjmmdの統一形式を理論的に導出する。 統合JMMDから、JMMDは分類に有利な特徴ラベル依存を低下させることを示す。 本稿では,その依存を促進する新たなmmd行列を提案し,ラベル分布シフトにロバストな新しいラベルカーネルを考案する。
  論文  参考訳（メタデータ） (2021-01-25T09:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。