論文の概要: Subspace-based Approximate Hessian Method for Zeroth-Order Optimization

• arxiv url: http://arxiv.org/abs/2507.06125v1
• Date: Tue, 08 Jul 2025 16:11:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:38.3342
• Title: Subspace-based Approximate Hessian Method for Zeroth-Order Optimization
• Title（参考訳）: 部分空間に基づく近似ヘシアン法によるゼロ階最適化
• Authors: Dongyoon Kim, Sungjae Lee, Wonjin Lee, Kwang In Kim,
• Abstract要約: ゼロ階最適化は、情報がアクセス不能または計算に実用的でない問題に対処する。 本稿では, 部分空間に基づく近似 Hessian (ZO-SAH) 法を提案する。 ロジスティック回帰とディープニューラルネットワークトレーニングタスクを含む8つのデータセットの実験は、ZO-SAHが既存のゼロオーダー法よりもはるかに高速な収束を達成することを示した。
• 参考スコア（独自算出の注目度）: 22.43620167341874
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Zeroth-order optimization addresses problems where gradient information is inaccessible or impractical to compute. While most existing methods rely on first-order approximations, incorporating second-order (curvature) information can, in principle, significantly accelerate convergence. However, the high cost of function evaluations required to estimate Hessian matrices often limits practical applicability. We present the subspace-based approximate Hessian (ZO-SAH) method, a zeroth-order optimization algorithm that mitigates these costs by focusing on randomly selected two-dimensional subspaces. Within each subspace, ZO-SAH estimates the Hessian by fitting a quadratic polynomial to the objective function and extracting its second-order coefficients. To further reduce function-query costs, ZO-SAH employs a periodic subspace-switching strategy that reuses function evaluations across optimization steps. Experiments on eight benchmark datasets, including logistic regression and deep neural network training tasks, demonstrate that ZO-SAH achieves significantly faster convergence than existing zeroth-order methods.
• Abstract（参考訳）: ゼロ階最適化は、勾配情報が到達不能または計算に実用的でない問題に対処する。 既存の手法の多くは一階近似に依存しているが、二階(曲率)情報を組み込むことで、原理的には収束を著しく加速することができる。 しかし、ヘッセン行列を推定するために必要な関数評価の高コストは、しばしば実用性を制限する。 本稿では, ランダムに選択された2次元部分空間に着目し, それらのコストを緩和するゼロ階最適化アルゴリズムである, 部分空間に基づく近似ヘシアン (ZO-SAH) 法を提案する。 各部分空間内において、ZO-SAHは2次多項式を目的関数に適合させ、2次係数を抽出することによってヘッセンを推定する。 関数クエリコストをさらに削減するため、ZO-SAHは最適化ステップ間で関数評価を再利用する周期的なサブスペーススイッチング戦略を採用している。 ロジスティック回帰とディープニューラルネットワークトレーニングタスクを含む8つのベンチマークデータセットの実験は、ZO-SAHが既存のゼロオーダー法よりもはるかに高速な収束を達成することを示した。

関連論文リスト

• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Double Variance Reduction: A Smoothing Trick for Composite Optimization Problems without First-Order Gradient [40.22217106270146]
  ばらつき低減技術はサンプリングのばらつきを低減し、一階法(FO)とゼロ階法(ZO)の収束率を向上するように設計されている。 複合最適化問題において、ZO法は、ランダム推定から導かれる座標ワイド分散と呼ばれる追加の分散に遭遇する。 本稿では,ZPDVR法とZPDVR法を提案する。
  論文  参考訳（メタデータ） (2024-05-28T02:27:53Z)
• AdaSub: Stochastic Optimization Using Second-Order Information in Low-Dimensional Subspaces [0.0]
  本稿では,低次元部分空間における2階情報に基づく探索方向の探索アルゴリズムであるAdaSubを紹介する。 一階法と比較して、二階法は収束特性が優れているが、繰り返しごとにヘッセン行列を計算する必要があるため、計算コストが過大になる。 予備的な数値結果から、AdaSubは所定の精度に達するのに必要なイテレーションの時間と回数で、一般的なイテレーションを超越していることが示される。
  論文  参考訳（メタデータ） (2023-10-30T22:24:23Z)
• Explicit Second-Order Min-Max Optimization Methods with Optimal Convergence Guarantee [86.05440220344755]
  我々は,非制約のmin-max最適化問題のグローバルなサドル点を求めるために,不正確な正規化ニュートン型手法を提案し,解析する。 提案手法は有界集合内に留まるイテレートを生成し、その反復は制限関数の項で$O(epsilon-2/3)$内の$epsilon$-saddle点に収束することを示す。
  論文  参考訳（メタデータ） (2022-10-23T21:24:37Z)
• DRSOM: A Dimension Reduced Second-Order Method [13.778619250890406]
  信頼的な枠組みの下では,2次法の収束を保ちながら,数方向の情報のみを用いる。 理論的には,この手法は局所収束率と大域収束率が$O(epsilon-3/2)$であり,第1次条件と第2次条件を満たすことを示す。
  論文  参考訳（メタデータ） (2022-07-30T13:05:01Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。