論文の概要: Globally aware optimization with resurgence

• arxiv url: http://arxiv.org/abs/2509.01329v1
• Date: Mon, 01 Sep 2025 10:12:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.641026
• Title: Globally aware optimization with resurgence
• Title（参考訳）: 再生によるグローバルな最適化
• Authors: Wei Bu,
• Abstract要約: 複素解析から再生理論を利用してグローバルな構造情報を抽出する新しい最適化フレームワークを提案する。 我々の重要な洞察は、パラメータ空間分割関数の因果的に発散する摂動展開は、ランドスケープにおける全ての臨界目標関数の正確な情報をエンコードするということである。 適応的な手法とは異なり、ターゲットはランドスケープの幾何学に理論的に基礎を置いている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern optimization faces a fundamental challenge: local gradient-based methods provide no global information about the objective function $L$ landscape, often leading to suboptimal convergence and sensitivity to initialization. We introduce a novel optimization framework that leverages resurgence theory from complex analysis to extract global structural information from divergent asymptotic series. Our key insight is that the factorially divergent perturbative expansions of parameter space partition functions encode precise information about all critical objective function value in the landscape through their Borel transform singularities. The algorithm works by computing the statistical mechanical partition function $Z(g) = \int e^{-L(\theta)/g} d\theta$ for small coupling $g\ll 1$, extracting its asymptotic series coefficients, and identifying Borel plane singularities that correspond one-to-one with critical objective function values. These target values provide global guidance to local optimizers, enabling principled learning rate adaptation and escape from suboptimal regions. Unlike heuristic adaptive methods, targets are theoretically grounded in the geometry of the optimization landscape.
• Abstract（参考訳）: 局所勾配に基づく手法は、目的関数について大域的な情報を提供しず、しばしば最適下限収束と初期化への感受性をもたらす。 本稿では, 複素解析から復活理論を利用して, 発散した漸近系列から大域的構造情報を抽出する新しい最適化フレームワークを提案する。 我々の重要な洞察は、パラメータ空間分割関数の因果的に発散する摂動展開は、ボレル変換特異点を通して風景における全ての臨界目標関数の正確な情報を符号化するということである。 このアルゴリズムは、統計力学分割関数 $Z(g) = \int e^{-L(\theta)/g} d\theta$ for small coupling $g\ll 1$ を計算し、その漸近級数係数を抽出し、1対1に対応するボレル平面特異点を臨界目的関数値で同定する。 これらの目標値は、局所最適化へのグローバルガイダンスを提供し、原則化された学習率の適応と、最適下地域からの脱出を可能にする。 ヒューリスティック適応法とは異なり、ターゲットは最適化ランドスケープの幾何学に理論的に基礎を置いている。

関連論文リスト

• Understanding Inverse Reinforcement Learning under Overparameterization: Non-Asymptotic Analysis and Global Optimality [52.906438147288256]
  我々のアルゴリズムは,特定のニューラルネットワーク構造の下で,最適報酬とポリシーを識別できることが示される。 これは、国際的最適性を確実に達成する非漸近収束保証を持つ最初のIRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-03-22T21:16:08Z)
• Super Gradient Descent: Global Optimization requires Global Gradient [0.0]
  本稿では,閉区間上で定義される任意のk-Lipschitz関数に対して,大域最小値への収束を保証する新しい最適化手法を提案する。 従来の最適化アルゴリズムの限界に対処するアプローチは、しばしばローカルなミニマに閉じ込められる。
  論文  参考訳（メタデータ） (2024-10-25T17:28:39Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• Bayesian Optimization with Informative Covariance [13.113313427848828]
  探索空間の特定の領域の好みを符号化するために,非定常性を利用した新しい情報共分散関数を提案する。 提案した関数は,より弱い事前情報の下でも,ハイ次元でのベイズ最適化のサンプル効率を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-08-04T15:05:11Z)
• AGGLIO: Global Optimization for Locally Convex Functions [5.221860952360943]
  本稿では,AGG(Accelerated Optimization Generalized LInear-model)をステージワイドでグローバルな手法として提案する。 AGGは、A-バッチSGD更新としてポイントを用いて容易に実装でき、証明可能な収束と収束実験を提供する。
  論文  参考訳（メタデータ） (2021-11-06T18:15:56Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)
• An adaptive stochastic gradient-free approach for high-dimensional blackbox optimization [0.0]
  本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。 本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2020-06-18T22:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。