論文の概要: We Still Don't Understand High-Dimensional Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2512.00170v1
• Date: Fri, 28 Nov 2025 19:18:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.099062
• Title: We Still Don't Understand High-Dimensional Bayesian Optimization
• Title（参考訳）: 我々は高次元ベイズ最適化をまだ理解していない
• Authors: Colin Doumont, Donney Fan, Natalie Maus, Jacob R. Gardner, Henry Moss, Geoff Pleiss,
• Abstract要約: 高次元空間はベイズ最適化(BO)に挑戦した これらの手法は、最も単純な方法であるベイズ線形回帰(Bayesian linear regression)によってより優れていることを示す。 以上の結果から,高次元空間におけるBO法に関する過去の直観から逸脱する必要性が示唆された。
• 参考スコア（独自算出の注目度）: 20.962956416873535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-dimensional spaces have challenged Bayesian optimization (BO). Existing methods aim to overcome this so-called curse of dimensionality by carefully encoding structural assumptions, from locality to sparsity to smoothness, into the optimization procedure. Surprisingly, we demonstrate that these approaches are outperformed by arguably the simplest method imaginable: Bayesian linear regression. After applying a geometric transformation to avoid boundary-seeking behavior, Gaussian processes with linear kernels match state-of-the-art performance on tasks with 60- to 6,000-dimensional search spaces. Linear models offer numerous advantages over their non-parametric counterparts: they afford closed-form sampling and their computation scales linearly with data, a fact we exploit on molecular optimization tasks with > 20,000 observations. Coupled with empirical analyses, our results suggest the need to depart from past intuitions about BO methods in high-dimensional spaces.
• Abstract（参考訳）: 高次元空間はベイズ最適化(BO)に挑戦している。 既存の手法は, 局所性から疎性, 滑らか性に至るまで, 構造的仮定を慎重に符号化することで, いわゆる次元性の呪いを克服することを目的としている。 驚くべきことに、これらの手法は、最も単純な方法であるベイズ線形回帰法により、より優れていることを示す。 境界探索の振る舞いを避けるために幾何学的変換を適用した後、線形カーネルを持つガウス過程は60次元から6,000次元の探索空間を持つタスクの最先端性能と一致する。 線形モデルは、非パラメトリックなモデルよりも多くの利点をもたらす: 閉形式サンプリングとデータと線形に計算スケールを提供する。 実験分析と組み合わせて, 高次元空間におけるBO法に関する過去の直観から逸脱する必要性が示唆された。

関連論文リスト

• Nonlinear Dimensionality Reduction Techniques for Bayesian Optimization [0.9303501974597549]
  低次元ラテント空間BO(LSBO)の列に問題を還元する非線形次元減少手法について検討する。 本稿では,元来分子生成などのタスク用に設計され,より広い最適化のためにアルゴリズムを再構成した実装について述べる。 次に、LSBOと逐次領域還元(SDR)を直接潜時空間(SDR-LSBO)に結合し、証拠が蓄積されるにつれて潜時探索領域を狭めるアルゴリズムを生成する。
  論文  参考訳（メタデータ） (2025-10-17T08:45:38Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• An Adaptive Dimension Reduction Estimation Method for High-dimensional Bayesian Optimization [6.79843988450982]
  BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。 私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。 数値実験により,困難シナリオにおける本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-03-08T16:21:08Z)
• Improving sample efficiency of high dimensional Bayesian optimization with MCMC [7.241485121318798]
  本稿ではマルコフ・チェイン・モンテカルロに基づく新しい手法を提案する。 提案アルゴリズムのMetropolis-HastingsとLangevin Dynamicsの両バージョンは、高次元逐次最適化および強化学習ベンチマークにおいて最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-05T05:56:42Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Linear Embedding-based High-dimensional Batch Bayesian Optimization without Reconstruction Mappings [21.391136086094225]
  本手法は,数千次元のバッチ最適化問題に適用可能であることを示す。 提案手法の有効性を,高次元のベンチマークと実世界の関数で実証する。
  論文  参考訳（メタデータ） (2022-11-02T08:11:10Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Learning to Guide Random Search [111.71167792453473]
  我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。 最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。 本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
  論文  参考訳（メタデータ） (2020-04-25T19:21:14Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。