論文の概要: SPGD: Steepest Perturbed Gradient Descent Optimization

• arxiv url: http://arxiv.org/abs/2411.04946v1
• Date: Thu, 07 Nov 2024 18:23:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:39:16.990699
• Title: SPGD: Steepest Perturbed Gradient Descent Optimization
• Title（参考訳）: SPGD: 最高の摂動勾配の輝き最適化
• Authors: Amir M. Vahedi, Horea T. Ilies,
• Abstract要約: 本稿では,Steepest Perturbed Gradient Descent (SPGD)アルゴリズムを提案する。 一連の候補解を生成し、最も急な損失差を示すものを選択するように設計されている。 予備結果は4つの確立された方法よりも大幅に改善された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Optimization algorithms are pivotal in advancing various scientific and industrial fields but often encounter obstacles such as trapping in local minima, saddle points, and plateaus (flat regions), which makes the convergence to reasonable or near-optimal solutions particularly challenging. This paper presents the Steepest Perturbed Gradient Descent (SPGD), a novel algorithm that innovatively combines the principles of the gradient descent method with periodic uniform perturbation sampling to effectively circumvent these impediments and lead to better solutions whenever possible. SPGD is distinctively designed to generate a set of candidate solutions and select the one exhibiting the steepest loss difference relative to the current solution. It enhances the traditional gradient descent approach by integrating a strategic exploration mechanism that significantly increases the likelihood of escaping sub-optimal local minima and navigating complex optimization landscapes effectively. Our approach not only retains the directed efficiency of gradient descent but also leverages the exploratory benefits of stochastic perturbations, thus enabling a more comprehensive search for global optima across diverse problem spaces. We demonstrate the efficacy of SPGD in solving the 3D component packing problem, an NP-hard challenge. Preliminary results show a substantial improvement over four established methods, particularly on response surfaces with complex topographies and in multidimensional non-convex continuous optimization problems. Comparative analyses with established 2D benchmark functions highlight SPGD's superior performance, showcasing its ability to navigate complex optimization landscapes. These results emphasize SPGD's potential as a versatile tool for a wide range of optimization problems.
• Abstract（参考訳）: 最適化アルゴリズムは、様々な科学・産業分野の進展において重要であるが、しばしば局所的なミニマ、サドルポイント、プラトー(平らな地域)のトラップのような障害に遭遇する。 本稿では、勾配降下法と周期的一様摂動サンプリングの原理を革新的に組み合わせ、これらの障害を効果的に回避し、より優れた解をもたらす新しいアルゴリズム、Steepest Perturbed Gradient Descent (SPGD)を提案する。 SPGDは、一組の候補解を生成し、現在の解に対して最も急な損失差を示すものを選択するように設計されている。 戦略的な探索機構を組み込むことで従来の勾配降下アプローチを強化し、最適下限の局所的極小を脱出し、複雑な最適化景観を効果的にナビゲートする可能性を大幅に高める。 我々のアプローチは、勾配降下の指示効率を維持できるだけでなく、確率的摂動の探索的利点も活用し、多様な問題空間におけるより包括的なグローバル最適探索を可能にする。 NP難題である3次元部品包装問題の解法におけるSPGDの有効性を実証する。 予備的な結果は、特に複雑な地形を持つ応答曲面や多次元非凸連続最適化問題において、確立された4つの方法よりも大幅に改善されていることを示している。 確立された2Dベンチマーク関数との比較分析では、複雑な最適化ランドスケープをナビゲートする能力を示し、SPGDの優れたパフォーマンスを強調している。 これらの結果は、幅広い最適化問題に対する汎用ツールとしてのSPGDの可能性を強調している。

関連論文リスト

• $ψ$DAG: Projected Stochastic Approximation Iteration for DAG Structure Learning [6.612096312467342]
  Directed A Graphs (DAGs) の構造を学ぶことは、ノード数に応じてスケールする可能なグラフの巨大な検索空間のため、大きな課題となる。 近年の進歩は、微分可能指数関数性制約を取り入れた連続最適化タスクとしてこの問題を再定義している。 本稿では,SGD(Gradient Descent)に基づく最適化手法と統合した近似手法を用いて,DAGを学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-31T12:13:11Z)
• Optimal Guarantees for Algorithmic Reproducibility and Gradient Complexity in Convex Optimization [55.115992622028685]
  以前の研究は、一階法はより良い収束率(漸進収束率)をトレードオフする必要があることを示唆している。 最適複雑性と準最適収束保証の両方を、滑らかな凸最小化と滑らかな凸最小化問題に対して達成できることを実証する。
  論文  参考訳（メタデータ） (2023-10-26T19:56:52Z)
• ProGO: Probabilistic Global Optimizer [9.772380490791635]
  本稿では,いくつかの温和な条件下でのグローバルオプティマに収束するアルゴリズムを開発する。 提案アルゴリズムは,従来の最先端手法よりも桁違いに優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-04T22:23:40Z)
• Path Signatures for Diversity in Probabilistic Trajectory Optimisation [24.101232487591094]
  移動計画は、発生した軌道の関数としてコストを最小化する軌道最適化問題としてキャストすることができる。 近年のハードウェアの進歩により、複数の解が同時に得られる並列軌道最適化が可能になった。 本稿では, 並列軌道最適化のアルゴリズムを提案し, 解域の多様性を向上し, モード崩壊を回避する。
  論文  参考訳（メタデータ） (2023-08-08T06:10:53Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• RL-PGO: Reinforcement Learning-based Planar Pose-Graph Optimization [1.4884785898657995]
  本稿では,最新のDeep Reinforcement Learning (DRL) ベースの環境と2次元ポーズグラフ最適化のためのエージェントを提案する。 本研究では、ポーズグラフ最適化問題を部分的に観測可能な決定プロセスとしてモデル化し、実世界および合成データセットの性能を評価することを実証する。
  論文  参考訳（メタデータ） (2022-02-26T20:10:14Z)
• Fighting the curse of dimensionality: A machine learning approach to finding global optima [77.34726150561087]
  本稿では,構造最適化問題におけるグローバル最適化の方法を示す。 特定のコスト関数を利用することで、最適化手順が確立された場合と比較して、グローバルをベストに得るか、最悪の場合、優れた結果を得るかのどちらかを得る。
  論文  参考訳（メタデータ） (2021-10-28T09:50:29Z)
• Learning Space Partitions for Path Planning [54.475949279050596]
  PlaLaMは2次元ナビゲーションタスクにおける既存の経路計画手法よりも優れており、特に難解な局所最適化の存在下では優れている。 これらは高マルチモーダルな実世界のタスクに移行し、コンパイラフェーズでは最大245%、分子設計では最大0.4の強いベースラインを0-1スケールで上回ります。
  論文  参考訳（メタデータ） (2021-06-19T18:06:11Z)
• SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
  一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。 特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T15:16:28Z)
• EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm for Constrained Global Optimization [68.8204255655161]
  EOSは実数値変数の制約付きおよび制約なし問題に対する大域的最適化アルゴリズムである。 これはよく知られた微分進化(DE)アルゴリズムに多くの改良を加えている。 その結果、EOSisは、最先端の単一人口自己適応Dアルゴリズムと比較して高い性能を達成可能であることが証明された。
  論文  参考訳（メタデータ） (2020-07-09T10:19:22Z)
• An adaptive stochastic gradient-free approach for high-dimensional blackbox optimization [0.0]
  本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。 本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2020-06-18T22:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。