論文の概要: On Basis Function Selection for Sparse Gaussian Process Regression

• arxiv url: http://arxiv.org/abs/2609.26624v2
• Date: Wed, 23 Sep 2026 07:55:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.679105
• Title: On Basis Function Selection for Sparse Gaussian Process Regression
• Title（参考訳）: スパースガウス過程回帰のための基底関数の選択について
• Abstract要約: 3つの家系にわたるUCI回帰ベンチマークにおいて、トラルンケーションと選択戦略の性能について検討した。 我々は, no-data criterion が HSGP, VFF, VISH のトランケーションに適合するか,あるいは改善されていることを観察した。 データ・アウェアのNo-priorとIn-be-be-20enの基準は、HSGPに特化してトランケーションよりも大幅に向上する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse Gaussian processes achieve $O(N)$ inference by replacing the kernel with an appropriate expansion in a fixed basis $\{φ_j\}$ on the input space. Given a compute budget $M \ll N$, practitioners conventionally truncate the basis to its first $M$ entries. Nothing in the formalism, however, prevents one from selecting only those $M$ basis functions that matter for the data at hand. This would avoid spending budget on basis functions where there is no signal, but it requires a criterion for ranking the candidates. We propose three such criteria derived from an information-theoretic view of the basis-function selection problem. Each criterion matches a different state of knowledge at selection time: a no-data state, a no-prior state, and an in-between state. We then study the performance of truncation versus selection strategies on six UCI regression benchmarks across three basis families: Hilbert-space Gaussian processes (HSGP), variational Fourier features (VFF), and variational inducing spherical harmonics (VISH). We observe that the no-data criterion is a safe default, matching or improving on truncation for HSGP, VFF and VISH, with substantial gains for VISH and improvements over a recently developed selection heuristic for that basis family. The data-aware no-prior and in-between criteria provide substantial gains over truncation specifically for HSGP, which is the most broadly used of the three families in practice.
• Abstract（参考訳）: スパースガウス過程は、入力空間上の固定基底$\{φ_j\}$でカーネルを適切な拡張に置き換えることで$O(N)$推論を達成する。 計算予算が$M \ll N$を与えられた場合、実践者は通常、その基礎を最初の$M$エントリに切り換える。 しかし、形式論では、手元にあるデータにとって重要なM$基底関数のみを選択することを妨げるものはない。 これにより、信号がない基本機能に予算を費やすことは避けられるが、候補者をランク付けするには基準が必要である。 本稿では,基本機能選択問題の情報理論的視点から3つの基準を提案する。 各基準は、選択時に異なる知識状態、すなわち、データなしの状態、優先状態、中間状態と一致する。 次に,Hilbert-space Gaussian Process (HSGP), variational Fourier Feature (VFF), variational inducing spherical harmonics (VISH)の3つの基本群を対象とした6つのUCI回帰ベンチマークにおけるトラクション対選択戦略の性能について検討した。 我々は、非データ基準がHSGP、VFF、VISHのトランケーションに適合または改善する安全なデフォルトであり、VISHは大幅に向上し、そのベースファミリーで最近開発された選択ヒューリスティックよりも改善されていることを観察した。 データ・アウェアのNo-prior基準とin-be-be-20en基準は、HSGPに特有なトランケーションよりも大幅に向上し、実際には3つのファミリーの中で最も広く使用されている。

関連論文リスト

• Data Selection for ERMs [67.57726352698933]
  我々は、$mathcalA$が、少なくとも$nll N$のデータポイントで訓練された時に、いかにうまく機能するかを研究する。 結果は,平均推定,線形分類,線形回帰に対する最適データ選択境界を含む。
  論文  参考訳（メタデータ） (2025-04-20T11:26:01Z)
• Enhancing Unsupervised Feature Selection via Double Sparsity Constrained Optimization [6.342485512772862]
  教師なし単一特徴選択(UFS)は機械学習やパターン認識に広く応用されている。 既存の手法のほとんどはスパーシリティしか考慮していないため、サブセットを選択し、元のサブセットと区別することは困難である。 本稿では,DSCOFSと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-01T05:05:46Z)
• Robust Reinforcement Learning from Corrupted Human Feedback [86.17030012828003]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の嗜好データを調整するための原則化されたフレームワークを提供する。 我々はRLHFのロバストなアプローチ-$R3M$を提案し、これは、潜在的に破損した選好ラベルをスパースアウトリーとしてモデル化する。 大規模言語モデル(LLM)を用いたロボット制御と自然言語生成の実験により、R3M$は、好みデータに対する様々な摂動に対する報酬の堅牢性を向上することを示した。
  論文  参考訳（メタデータ） (2024-06-21T18:06:30Z)
• Variance Alignment Score: A Simple But Tough-to-Beat Data Selection Method for Multimodal Contrastive Learning [17.40655778450583]
  本稿では、Sigma_texttest, Sigma_irangle$という形式を持つVariance Alignment Score(VAS)という原則付き計量を提案する。 VASとCLIPのスコアを合わせると、ノイズの多いデータセットDataCompの38評価セットに1.3%、高品質なデータセットCC12MのVTABに2.5%の差でベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-02-03T06:29:04Z)
• Neural Greedy Pursuit for Feature Selection [72.4121881681861]
  我々は,非線形予測問題に対する$P$入力機能のうち,$N$重要な特徴を選択するための欲求アルゴリズムを提案する。 ニューラルネットワークをアルゴリズムの予測子として使用し、損失を計算します。
  論文  参考訳（メタデータ） (2022-07-19T16:39:16Z)
• Deletion and Insertion Tests in Regression Models [1.2891210250935148]
  説明可能なAI(XAI)の基本課題は、ブラックボックス関数$f$による予測の背後にある最も重要な特徴を特定することである。 Petsiuk et al. Kernel の挿入と削除テストは、分類においてピクセルを最も重要視するアルゴリズムの品質を判断するために用いられる。
  論文  参考訳（メタデータ） (2022-05-25T00:55:47Z)
• Taming Nonconvexity in Kernel Feature Selection---Favorable Properties of the Laplace Kernel [77.73399781313893]
  カーネルベースの特徴選択の客観的機能を確立することが課題である。 非言語最適化に利用可能な勾配に基づくアルゴリズムは、局所ミニマへの収束を保証できるだけである。
  論文  参考訳（メタデータ） (2021-06-17T11:05:48Z)
• Minimum discrepancy principle strategy for choosing $k$ in $k$-NN regression [2.0411082897313984]
  保持データを用いずに、$k$-NN回帰推定器でハイパーパラメータ$k$を選択するための新しいデータ駆動戦略を提案する。 本稿では,早期停止と最小一致原理に基づく実践的戦略を実践的に容易に導入することを提案する。
  論文  参考訳（メタデータ） (2020-08-20T00:13:19Z)
• Uncertainty quantification using martingales for misspecified Gaussian processes [52.22233158357913]
  本稿では,ガウス過程(GP)の不確定な定量化を,不特定先行条件下で解決する。 マルティンゲール法を用いて未知関数に対する信頼シーケンス(CS)を構築する。 我々のCSは統計的に有効であり、実証的に標準GP法より優れています。
  論文  参考訳（メタデータ） (2020-06-12T17:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。