論文の概要: Optimistic Gradient Learning with Hessian Corrections for High-Dimensional Black-Box Optimization

• arxiv url: http://arxiv.org/abs/2502.04829v1
• Date: Fri, 07 Feb 2025 11:03:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:57:52.437252
• Title: Optimistic Gradient Learning with Hessian Corrections for High-Dimensional Black-Box Optimization
• Title（参考訳）: ヘシアン補正を用いた高次元ブラックボックス最適化のための最適勾配学習
• Authors: Yedidya Kfir, Elad Sarafian, Sarit Kraus, Yoram Louzoun,
• Abstract要約: ブラックボックスアルゴリズムは、基礎となる解析構造や勾配情報に頼ることなく、関数を最適化するように設計されている。 本研究では,高次元・複雑・非線形問題による課題に対処するための2つの新しい勾配学習変種を提案する。
• 参考スコア（独自算出の注目度）: 14.073853819633745
• License:
• Abstract: Black-box algorithms are designed to optimize functions without relying on their underlying analytical structure or gradient information, making them essential when gradients are inaccessible or difficult to compute. Traditional methods for solving black-box optimization (BBO) problems predominantly rely on non-parametric models and struggle to scale to large input spaces. Conversely, parametric methods that model the function with neural estimators and obtain gradient signals via backpropagation may suffer from significant gradient errors. A recent alternative, Explicit Gradient Learning (EGL), which directly learns the gradient using a first-order Taylor approximation, has demonstrated superior performance over both parametric and non-parametric methods. In this work, we propose two novel gradient learning variants to address the robustness challenges posed by high-dimensional, complex, and highly non-linear problems. Optimistic Gradient Learning (OGL) introduces a bias toward lower regions in the function landscape, while Higher-order Gradient Learning (HGL) incorporates second-order Taylor corrections to improve gradient accuracy. We combine these approaches into the unified OHGL algorithm, achieving state-of-the-art (SOTA) performance on the synthetic COCO suite. Additionally, we demonstrate OHGLs applicability to high-dimensional real-world machine learning (ML) tasks such as adversarial training and code generation. Our results highlight OHGLs ability to generate stronger candidates, offering a valuable tool for ML researchers and practitioners tackling high-dimensional, non-linear optimization challenges
• Abstract（参考訳）: ブラックボックスアルゴリズムは、基礎となる解析構造や勾配情報に頼ることなく、関数を最適化するように設計されている。 ブラックボックス最適化(BBO)問題を解決する従来の手法は、主に非パラメトリックモデルに依存し、大規模な入力空間にスケールするのに苦労する。 逆に、神経推定器を用いて関数をモデル化し、バックプロパゲーションを介して勾配信号を得るパラメトリック法は、重大な勾配誤差に悩まされる可能性がある。 最近の方法である Explicit Gradient Learning (EGL) は、一階述語Taylor近似を用いて勾配を直接学習し、パラメトリック法と非パラメトリック法の両方よりも優れた性能を示した。 本研究では,高次元・複雑・非線形問題による頑健性問題に対処する2つの新しい勾配学習変種を提案する。 OGL(Optimistic Gradient Learning)は関数ランドスケープの下位領域に対するバイアスを導入し、HGL(Higher-order Gradient Learning)は2階のTaylor補正を取り入れて勾配精度を向上させる。 これらのアプローチを統合OHGLアルゴリズムと組み合わせて,COCOスイート上での最先端(SOTA)性能を実現する。 さらに,高次元実世界の機械学習(ML)タスクへのOHGLの適用性を示す。 より強力な候補を生成するためのOHGLの能力を強調し,高次元非線形最適化課題に取り組むML研究者や実践者にとって貴重なツールを提供する。

関連論文リスト

• Extended convexity and smoothness and their applications in deep learning [5.281849820329249]
  本稿では,複合最適化問題のクラス,特にディープラーニングにおける理論的基礎を提供するための最適化フレームワークを提案する。 我々は、$mathcalH(Phi)$-smoothness である対象関数に対するリプシッツの降下法と降下法の滑らかさを解析する。
  論文  参考訳（メタデータ） (2024-10-08T08:40:07Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Massive Dimensions Reduction and Hybridization with Meta-heuristics in Deep Learning [0.24578723416255746]
  ヒストグラムに基づく微分進化(HBDE)は、パラメータを最適化するために勾配に基づくアルゴリズムと勾配のないアルゴリズムをハイブリダイズする。 HBDEは、CIFAR-10とCIFAR-100データセットに基づいて評価されたベースライン勾配と親勾配のないDEMアルゴリズムより優れている。
  論文  参考訳（メタデータ） (2024-08-13T20:28:20Z)
• Gradient-free neural topology optimization [0.0]
  勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。 これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。 我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-07T23:00:49Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• An adaptive stochastic gradient-free approach for high-dimensional blackbox optimization [0.0]
  本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。 本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2020-06-18T22:47:58Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Explicit Gradient Learning [28.844181847562695]
  Black-Box Optimization (BBO) 法は解析的表現のない最適システムを見つけることができる。 EGLは、目標勾配を直接推定するためにNNを訓練する。
  論文  参考訳（メタデータ） (2020-06-09T08:56:24Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。