論文の概要: GRAPE: Gradient Refinement and Progress-Aware Exploitation for Query-Efficient High-Dimensional Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2608.25116v1
• Date: Tue, 25 Aug 2026 20:12:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.429557
• Title: GRAPE: Gradient Refinement and Progress-Aware Exploitation for Query-Efficient High-Dimensional Bayesian Optimization
• Title（参考訳）: GRAPE:クエリ効率の高い高次元ベイズ最適化のためのグラディエントリファインメントとプログレッシブ・アウェアの爆発
• Abstract要約: GRAPE(Gradient Refinement and Progress-Aware Exploitation)を紹介する。 まず、閉形式取得関数を介して局所勾配後部を研削し、次に、降下時の期待減少条件を最大化して更新方向を選択する。 GraPEは、高次元タスク間で優れたクエリ効率を示す。
• 参考スコア（独自算出の注目度）: 10.819007853982086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimizing expensive, high-dimensional black-box functions remains a central challenge in modern machine learning and scientific discovery. While local Bayesian optimization mitigates the curse of dimensionality, existing techniques often prioritize the probability of descent over the magnitude of progress. This leads to overly conservative steps that yield negligible improvement, wasting queries on directions that are nearly certain to descend but offer little decrease. We introduce Gradient Refinement and Progress-Aware Exploitation (GRAPE), a two-stage framework that first sharpens the local gradient posterior via a closed-form acquisition function, then selects update directions by maximizing the expected decrease conditional on descent. Theoretical analysis proves that this gradient refinement stage monotonically minimizes local uncertainty and that the progress-aware direction converges to true steepest descent as the posterior sharpens. Empirically, GRAPE demonstrates superior query efficiency across high-dimensional tasks: in black-box adversarial attacks, it achieves an average 5.4$\times$ speedup over baselines, and on large language model prompt optimization tasks, it outperforms the second best method by a reduction of 3.8 log-units in the final average regret.
• Abstract（参考訳）: 高価な高次元のブラックボックス関数を最適化することは、現代の機械学習と科学的発見における中心的な課題である。 局所ベイズ最適化は次元の呪いを緩和するが、既存の手法は進歩の規模よりも降下の確率を優先することが多い。 これは、無視できる改善をもたらす過度に保守的なステップにつながります。 GRAPE(Gradient Refinement and Progress-Aware Exploitation)は、2段階のフレームワークで、まずは閉形式取得関数を介して局所勾配後部を鋭くし、次に、降下条件の最大化により更新方向を選択する。 理論的解析により、この勾配改善段階は局所的不確かさを単調に最小化し、進行認識方向は後部シャープが進むにつれて真の急降下に収束することが示された。 ブラックボックス攻撃では、ベースラインよりも平均5.4$\times$スピードアップを達成し、大規模言語モデルでは、最後の平均後悔で3.8の対数ユニットを減らして、最適化タスクを高速化する。

関連論文リスト

• Fisher-Orthogonal Projection Methods for Natural Gradient Descent with Large Batches [0.0]
  本稿ではFOP(Fisher-Orthogonal Projection)を提案する。これは非常に大きなバッチサイズで2階法の有効性を復元する手法である。 FOPは2つのサブバッチを利用して分散対応更新方向を構築し、勾配差の成分で平均勾配を高める。
  論文  参考訳（メタデータ） (2025-08-19T15:02:22Z)
• Optimistic Gradient Learning with Hessian Corrections for High-Dimensional Black-Box Optimization [14.073853819633745]
  ブラックボックスアルゴリズムは、基礎となる解析構造や勾配情報に頼ることなく、関数を最適化するように設計されている。 本研究では,高次元・複雑・非線形問題による課題に対処するための2つの新しい勾配学習変種を提案する。
  論文  参考訳（メタデータ） (2025-02-07T11:03:50Z)
• GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
  そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
  論文  参考訳（メタデータ） (2024-12-07T06:07:21Z)
• The Role of the Time-Dependent Hessian in High-Dimensional Optimization [9.50832466973301]
  グラディエント降下は、特に機械学習アプリケーションにおいて、荒れた風景の中でミニマを見つけるのに一般的に使用される。 ここでは,信号が失われる前に,システムが信号を回復する能力である解像位相に着目した。
  論文  参考訳（メタデータ） (2024-03-04T19:12:13Z)
• One-Step Forward and Backtrack: Overcoming Zig-Zagging in Loss-Aware Quantization Training [12.400950982075948]
  重み量子化は、限られたリソースを持つエッジデバイスに展開するディープニューラルネットワークを圧縮する効果的な手法である。 従来の損失対応量子化法は、全精度勾配を置き換えるために量子化勾配を用いるのが一般的である。 本稿では、損失認識量子化のための1ステップの前進およびバックトラック手法を提案し、より正確で安定した勾配方向を得る。
  論文  参考訳（メタデータ） (2024-01-30T05:42:54Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
  textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
  論文  参考訳（メタデータ） (2021-06-22T03:13:23Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• AdaDGS: An adaptive black-box optimization method with a nonlocal directional Gaussian smoothing gradient [3.1546318469750196]
  方向性ガウススムースティング(DGS)アプローチは(Zhang et al., 2020)で最近提案され、高次元ブラックボックス最適化のためにDGS勾配と呼ばれる真の非局所勾配を定義するために使用された。 DGSグラデーションを用いた簡易かつ創発的かつ効率的な最適化手法を提案し,超パラメータ微調整の必要性を排除した。
  論文  参考訳（メタデータ） (2020-11-03T21:20:25Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。