論文の概要: Isotropic Gaussian Processes Improve Vanilla Bayesian Optimization in High Dimensions

• arxiv url: http://arxiv.org/abs/2610.05780v1
• Date: Mon, 05 Oct 2026 04:24:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 04:27:55.339113
• Title: Isotropic Gaussian Processes Improve Vanilla Bayesian Optimization in High Dimensions
• Title（参考訳）: 高次元のバニラベイズ最適化を改善する等方的ガウス過程
• Abstract要約: 本稿では、ARD GPを1つの共有長スケールを用いた等方的GPに置き換える制御された修正であるIso-BOを提案する。 Iso-BOは座標的に再重み付けを除去し、代わりに単一の共有スケールに適合する。 データ生成プロセスが異方性である場合を含む、この有限データ効果が実際に現れることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-dimensional Bayesian optimization (BO) often fits Gaussian process (GP) surrogates from far fewer observations than input dimensions. Modern Vanilla BO can perform well in this regime with dimension-aware priors, initialization, and acquisition optimization, but it typically retains automatic relevance determination (ARD), fitting one lengthscale per input coordinate. We study this modeling choice and propose Iso-BO, a controlled modification that replaces the ARD GP with an isotropic GP using one shared lengthscale while keeping the surrounding BO pipeline matched. For radial kernels, we show that the marginal log likelihood (MLL) depends on the inverse-squared ARD lengthscales only through weighted pairwise distances among the observed inputs. The current design can therefore leave some ARD directions exactly invisible or only weakly constrained by the MLL. Iso-BO removes coordinatewise reweighting and fits a single shared scale instead. Lengthscale-fitting and predictive-density diagnostics show that this finite-data effect appears in practice, including when the data-generating process is anisotropic. Across GP-prior, synthetic, and real-world benchmarks, Iso-BO often improves over matched modern Vanilla BO and remains competitive with the included high-dimensional BO baselines under the tested budgets. Stress tests also show the expected boundary wherein sufficiently strong, learnable anisotropy can favor the more flexible ARD model.
• Abstract（参考訳）: 高次元ベイズ最適化(BO)は、入力次元よりもはるかに少ない観測からガウス過程(GP)を代理することが多い。 現代のバニラBOは、次元を意識した事前処理、初期化、取得の最適化でこの方式でうまく機能するが、通常は自動関連決定(ARD)を保ち、入力座標ごとに1つの長さスケールを設定できる。 このモデル選択について検討し, 周囲のBOパイプラインを一致させながら, 1つの共有長スケールを用いてARD GPを等方性GPに置き換える制御されたIso-BOを提案する。 放射核の場合、境界対数確率(MLL)は、観測された入力間の重み付き対距離によってのみ、逆2乗のARD長スケールに依存することを示す。 したがって、現在の設計ではARD方向を正確に見えず、MLLによって制限されているだけである。 Iso-BOは座標的に再重み付けを除去し、代わりに単一の共有スケールに適合する。 長尺適合および予測密度診断は、データ生成過程が異方性である場合を含む、この有限データ効果が実際に現れることを示している。 GP優先、合成、および実世界のベンチマーク全体において、Iso-BOは現代のバニラBOとのマッチングよりも改善され、試験予算の下での高次元BOベースラインとの競争が続いている。 ストレステストはまた、十分に強力で学習可能な異方性がより柔軟なARDモデルに有利な境界を示す。

関連論文リスト

• Transolver-$σ$: Joint Spectral-Physical Subspace Modeling for Neural PDE Solving [53.58729034895666]
  Transolver-$は、結合スペクトル-物理部分空間モデリングに基づくニューラルPDEソルバである。 平均的な相対誤差を33.4%減らし、各基準に対して最強の基準線を上回り、最先端を達成している。
  論文  参考訳（メタデータ） (2026-09-29T11:24:19Z)
• Projective Normal Fields: A Convex Optimization Method for Constructing Smooth UDFs [68.08537394769392]
  本稿では,原点雲からの距離場(UDF)の滑らかな近似を構築するためのフレームワークを提案する。 局所幾何推定をスカラーフィールド構造から分離することにより、PNFは非微分可能なUDFを直接適合させない。
  論文  参考訳（メタデータ） (2026-09-28T09:55:50Z)
• Denoised Variance-Based Pruning with Optimal Brain Bias Compensation [45.88028371034407]
  VBP(Variance-Based Pruning)は、ニューロンを活性化分散に基づいて選択することで有望なパラダイムを導入した。 Denoized Variance-based Pruning with Optimal Brain Bias Compensation (DVBP + OB$2$C)を紹介する。 最先端のトレーニングフリーのパフォーマンスを実現し、50%のプルーニングで、オリジナルのTop-1の精度の90%以上を維持できる。
  論文  参考訳（メタデータ） (2026-08-18T11:23:49Z)
• Adaptive Bregman Proximal Stochastic Gradient with a Stabilized Barzilai--Borwein Step Size [43.46286813814826]
  Bregman finite proximal ergo gradient (BPSG) 法は、ユークリッドの滑らかさによって幾何が不十分な対象に分散還元された合成サイズをもたらす。 生の曲率推定は変動するが、行検索は繰り返し検索を追加する。 本稿では,スパース値と非負行列分解率を組み合わせた線探索手法であるAdaBPSGを紹介する。
  論文  参考訳（メタデータ） (2026-08-12T12:46:05Z)
• Direct Bethe Free Energy Minimization for Bayesian Neural Network [0.0]
  我々は,変分下界を最大化するのではなく,Bethe自由エネルギーを直接最小化してベイズニューラルネットワークを訓練することを提案する。 木構造因子グラフ上では、Bethe自由エネルギーは正確であり、決定論的層は目的から外れ、標準のバックプロパゲーションによって訓練される。 すべての変種は、アンサンブルやサンプリングベースの手法とは対照的に、MAP等価な推論コストで閉形式予測を許容する。
  論文  参考訳（メタデータ） (2026-05-08T20:12:48Z)
• WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
  低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。 いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。 結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
  論文  参考訳（メタデータ） (2025-11-30T16:17:34Z)
• Likelihood-Free Adaptive Bayesian Inference via Nonparametric Distribution Matching [2.0319002824093015]
  本稿では,従来のデータ空間の相違を回避したフレームワークであるAdaptive Bayesian Inference (ABI)を提案する。 ABIは、後続分布間のばらつきを測定する問題を、条件付き量子レグレッションタスクのトラクタブルシーケンスに変換する。 ABIはデータベースであるWasserstein, 要約ベースABC, 最先端の可能性のないシミュレータを著しく上回っていることを実証する。
  論文  参考訳（メタデータ） (2025-05-07T17:50:14Z)
• Adaptive Bayesian Optimization for Robust Identification of Stochastic Dynamical Systems [4.0148499400442095]
  本稿では,システム係数と雑音分散を含む線形導出システムの同定について述べる。 ベイズ最適化に基づく標本効率のよい大域最適化法を提案する。 実験により、EGPに基づくBOは定常フィルタリングと期待最大化によりMLEを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-03-09T01:38:21Z)
• On the Optimality of Dilated Entropy and Lower Bounds for Online Learning in Extensive-Form Games [44.861519860614735]
  1次法は、大規模な広角ゲームにおいて最もスケーラブルな平衡計算アルゴリズムであることは間違いない。 戦略の正則化として機能する距離生成関数を選択する必要がある。 重み付き拡張エントロピー(DilEnt)距離生成関数が対数因子に最適であることを示す。
  論文  参考訳（メタデータ） (2024-10-30T19:03:33Z)
• Bayesian Kernelized Tensor Factorization as Surrogate for Bayesian Optimization [13.896697187967545]
  カーネル最適化(BO)は主にガウス過程(GP)をキーサロゲートモデルとして用いている。 本稿では,BOにおける新しい代理モデルとしてベイズ因子化(BKTF)を提案する。 BKTFは、不確実量化を伴う複素関数を特徴づけるための柔軟で効果的なアプローチを提供する。
  論文  参考訳（メタデータ） (2023-02-28T12:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。