論文の概要: NeST-BO: Fast Local Bayesian Optimization via Newton-Step Targeting of Gradient and Hessian Information

• arxiv url: http://arxiv.org/abs/2510.05516v1
• Date: Tue, 07 Oct 2025 02:09:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.063375
• Title: NeST-BO: Fast Local Bayesian Optimization via Newton-Step Targeting of Gradient and Hessian Information
• Title（参考訳）: NeST-BO:Newton-Step Targeting of Gradient and Hessian Informationによる局所ベイズ最適化
• Authors: Wei-Ting Tang, Akshay Kudva, Joel A. Paulson,
• Abstract要約: NeST-BOはニュートンステップを目標とする局所BO法であり、ガウス過程を補助する勾配とヘッセン情報を共同学習する。 この境界(従ってステップエラー)がバッチサイズと契約していることが示されるので、NeST-BOは不正確なニュートン収束を直接継承する。 高次元の合成および実世界の問題全体で、NeST-BOは最先端の局所および高次元のBOベースラインよりも早く収束し、後悔を少なくする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO) is effective for expensive black-box problems but remains challenging in high dimensions. We propose NeST-BO, a local BO method that targets the Newton step by jointly learning gradient and Hessian information with Gaussian process surrogates, and selecting evaluations via a one-step lookahead bound on Newton-step error. We show that this bound (and hence the step error) contracts with batch size, so NeST-BO directly inherits inexact-Newton convergence: global progress under mild stability assumptions and quadratic local rates once steps are sufficiently accurate. To scale, we optimize the acquisition in low-dimensional subspaces (e.g., random embeddings or learned sparse subspaces), reducing the dominant cost of learning curvature from $O(d^2)$ to $O(m^2)$ with $m \ll d$ while preserving step targeting. Across high-dimensional synthetic and real-world problems, including cases with thousands of variables and unknown active subspaces, NeST-BO consistently yields faster convergence and lower regret than state-of-the-art local and high-dimensional BO baselines.
• Abstract（参考訳）: ベイズ最適化(BO)は高価なブラックボックス問題に対して有効であるが、高次元では依然として困難である。 我々は,ニュートンステップを目標とする局所BO手法であるNeST-BOを提案し,ガウス過程サロゲートを用いて勾配とヘッセン情報を共同学習し,ニュートンステップエラーに拘束されたワンステップのルックアヘッドを用いて評価を選択する。 そこでNeST-BOは, 緩やかな安定性仮定の下でのグローバルな進展と, ステップが十分に正確になったときの2次局所速度を直接的に継承する。 スケールするために、低次元部分空間(例えば、ランダム埋め込みや学習されたスパース部分空間)の取得を最適化し、ステップターゲティングを保ちながら、学習曲率を$O(d^2)$から$O(m^2)$に下げる。 何千もの変数と未知の活性部分空間を含む高次元の合成および実世界の問題全体において、NeST-BOは、最先端の局所および高次元のBOベースラインよりも高速な収束と低後悔をもたらす。

関連論文リスト

• Lean and Mean Adaptive Optimization via Subset-Norm and Subspace-Momentum with Convergence Guarantees [5.399838579600896]
  本稿では,大規模ニューラルネットワークのトレーニングを高速化しながら,メモリ要求を低減し,効率的な最適化を実現するための2つの補完的補完手法を提案する。 最初のテクニックであるSubset-m Step sizeは、ステップサイズの共有を通じてAdaGrad-NormとAdaGrad(-Norm)を一般化する。 第2の手法であるSubspace-Momentumは、運動量状態のメモリフットプリントを低次元のサブスペースにモーメントすることで削減する。
  論文  参考訳（メタデータ） (2024-11-11T16:48:07Z)
• Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate [83.3933097134767]
  次元に依存しない大域収束率を$Oleft(frac1mk+frac1k2right)$とする,新しい部分空間正規化ニュートン法を導入する。 提案手法は,特に高次元問題に対して,既存のランダム部分空間法よりも高速に収束する。
  論文  参考訳（メタデータ） (2024-01-05T20:24:18Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free Reinforcement Learning [52.76230802067506]
  漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。 提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。 初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
  論文  参考訳（メタデータ） (2021-10-09T21:13:48Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm for Bilevel Optimization [112.59170319105971]
  問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。 MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
  論文  参考訳（メタデータ） (2021-02-15T07:10:33Z)
• Stochastic Subspace Cubic Newton Method [14.624340432672172]
  本稿では,高次元凸関数$f$を最小化するランダム化二階最適化アルゴリズムを提案する。 ミニバッチサイズが変化するにつれて、SSCNのグローバル収束速度は座標降下速度(CD)と立方正規化ニュートン速度とを補間することを示した。 注目すべきことに、SSCN の局所収束速度は、次数関数 $frac12 (x-x*)top nabla2f(x*)(x-x*)$ の最小化問題に適用される部分空間降下率と一致する。
  論文  参考訳（メタデータ） (2020-02-21T19:42:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。