論文の概要: Non-local Optimization: Imposing Structure on Optimization Problems by Relaxation

• arxiv url: http://arxiv.org/abs/2011.06064v3
• Date: Sat, 24 Jul 2021 13:20:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 22:56:14.056426
• Title: Non-local Optimization: Imposing Structure on Optimization Problems by Relaxation
• Title（参考訳）: 非局所最適化:緩和による最適化問題の構成
• Authors: Nils M\"uller and Tobias Glasmachers
• Abstract要約: 進化的計算と強化学習において、関数 $f: Omega to mathbbR$ の最適化はしばしば、Theta mapto mathbbE_theta(f)$ of $f$ の緩和 $theta を最適化することで解決される。 測度理論とフーリエ解析を用いてそのような緩和構造を考察し、多くの関連する最適化手法の成功に光を当てることを可能にした。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In stochastic optimization, particularly in evolutionary computation and reinforcement learning, the optimization of a function $f: \Omega \to \mathbb{R}$ is often addressed through optimizing a so-called relaxation $\theta \in \Theta \mapsto \mathbb{E}_\theta(f)$ of $f$, where $\Theta$ resembles the parameters of a family of probability measures on $\Omega$. We investigate the structure of such relaxations by means of measure theory and Fourier analysis, enabling us to shed light on the success of many associated stochastic optimization methods. The main structural traits we derive and that allow fast and reliable optimization of relaxations are the consistency of optimal values of $f$, Lipschitzness of gradients, and convexity. We emphasize settings where $f$ itself is not differentiable or convex, e.g., in the presence of (stochastic) disturbance.
• Abstract（参考訳）: 確率的最適化、特に進化的計算と強化学習において、関数 $f: \Omega \to \mathbb{R}$ の最適化は、いわゆる緩和を最適化することでしばしば扱われる: $\theta \in \Theta \mapsto \mathbb{E}_\theta(f)$ of $f$ である。 このような緩和の構造を測度理論とフーリエ解析を用いて検討し、関連する多くの確率的最適化手法の成功に光を当てることができた。 緩和の高速かつ信頼性の高い最適化を可能にする主な構造特性は、$f$の最適値の一貫性、勾配のリプシッツ性、凸性である。 例えば、(確率的な)乱れの存在下で、$f$自体が微分可能でないか、凸であるような設定を強調します。

関連論文リスト

• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• Optimal Rates for Robust Stochastic Convex Optimization [12.620782629498812]
  我々は,$epsilon$-contaminationモデルの下で,極小最適過大リスクを実現するアルゴリズムを開発した。 我々のアルゴリズムは制限的な仮定を必要とせず、非滑らかだがリプシッツ人口減少関数を扱える。
  論文  参考訳（メタデータ） (2024-12-15T00:52:08Z)
• Extended convexity and smoothness and their applications in deep learning [5.281849820329249]
  本稿では,複合最適化問題のクラス,特にディープラーニングにおける理論的基礎を提供するための最適化フレームワークを提案する。 我々は、$mathcalH(Phi)$-smoothness である対象関数に対するリプシッツの降下法と降下法の滑らかさを解析する。
  論文  参考訳（メタデータ） (2024-10-08T08:40:07Z)
• Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
  我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。 特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
  論文  参考訳（メタデータ） (2024-09-23T13:11:37Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Random Function Descent [0.0]
  a'tochastic Taylor' to gradient descent is scalable in high yields。 具体的には、高収率でスケーラブルな勾配降下に'tochastic Taylor' を用いる。
  論文  参考訳（メタデータ） (2023-05-02T12:53:50Z)
• Manifold Free Riemannian Optimization [4.484251538832438]
  滑らかな多様体 $mathcalM$ を用いて最適化問題を解くための原理的枠組みを提案する。 代数学M におけるコスト関数 $(x_i, y_i) の雑音のないサンプル集合 mathbbR$ と多様体 $mathcalM$ の固有次元を用いる。
  論文  参考訳（メタデータ） (2022-09-07T16:19:06Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• Non-Convex Optimization with Certificates and Fast Rates Through Kernel Sums of Squares [68.8204255655161]
  非最適化近似問題を考える。 本稿では,最優先計算を保証するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-11T09:37:04Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。