論文の概要: Variational Principles for Mirror Descent and Mirror Langevin Dynamics
- arxiv url: http://arxiv.org/abs/2303.09532v1
- Date: Thu, 16 Mar 2023 17:48:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-17 14:18:42.038837
- Title: Variational Principles for Mirror Descent and Mirror Langevin Dynamics
- Title（参考訳）: 鏡の輝きと鏡のランゲヴィンダイナミクスの変分原理
- Authors: Belinda Tzen, Anant Raj, Maxim Raginsky, Francis Bach
- Abstract要約: ミラー降下(Mirror descend)は1970年代にネミロフスキーとユディンによって導入された原始二重凸最適化法である。
本稿では、ミラー降下の変分定式化と、その変分であるミラーランゲヴィンダイナミクスを提案する。
- 参考スコア（独自算出の注目度）: 16.48331121372165
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mirror descent, introduced by Nemirovski and Yudin in the 1970s, is a
primal-dual convex optimization method that can be tailored to the geometry of
the optimization problem at hand through the choice of a strongly convex
potential function. It arises as a basic primitive in a variety of
applications, including large-scale optimization, machine learning, and
control. This paper proposes a variational formulation of mirror descent and of
its stochastic variant, mirror Langevin dynamics. The main idea, inspired by
the classic work of Brezis and Ekeland on variational principles for gradient
flows, is to show that mirror descent emerges as a closed-loop solution for a
certain optimal control problem, and the Bellman value function is given by the
Bregman divergence between the initial condition and the global minimizer of
the objective function.
- Abstract（参考訳）: 1970年代にネミロフスキーとユディンによって導入されたミラー降下は、強い凸ポテンシャル関数の選択を通じて、手前の最適化問題の幾何学に合わせて調整できる原始二重凸最適化法である。
大規模最適化、機械学習、制御など、さまざまなアプリケーションで基本的なプリミティブとして生まれます。
本稿では,ミラー降下の変分的定式化と,その確率的変種であるミラーランゲバンダイナミクスを提案する。
グラデーションフローの変分原理に関するbrezisとekelandの古典的な業績に触発された主なアイデアは、ミラー降下が特定の最適制御問題の閉ループ解として出現し、ベルマン値関数は、初期条件と対象関数の大域的最小化との間のブレグマン分岐によって与えられることを示すことである。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。
本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
論文 参考訳（メタデータ） (2024-06-28T02:56:22Z) - Moreau-Yoshida Variational Transport: A General Framework For Solving Regularized Distributional Optimization Problems [3.038642416291856]
クラス確率分布上に定義された複合目的関数を最小化する一般的な最適化問題を考える。
本稿では,正規分布最適化問題の解法として,モロー・吉田変分輸送(MYVT)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-07-31T01:14:42Z) - Mirror Descent with Relative Smoothness in Measure Spaces, with
application to Sinkhorn and EM [11.007661197604065]
本稿では,無限次元環境下でのミラー降下アルゴリズムの収束性について検討する。
結果が結合分布とクルバック-リーブラー分岐に適用され、シンクホーンの最適輸送に対する原始的な反復がミラー降下に対応することを示す。
論文 参考訳（メタデータ） (2022-06-17T16:19:47Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - Survey Descent: A Multipoint Generalization of Gradient Descent for
Nonsmooth Optimization [0.0]
局所最適化のための勾配降下繰り返しの一般化を提案する。
目的自体が滑らかであるときに線形収束を証明し、実験によりより一般的な現象が示唆される。
論文 参考訳（メタデータ） (2021-11-30T18:28:17Z) - A Variational Inference Approach to Inverse Problems with Gamma
Hyperpriors [60.489902135153415]
本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。
提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
論文 参考訳（メタデータ） (2021-11-26T06:33:29Z) - Implicit differentiation for fast hyperparameter selection in non-smooth
convex learning [87.60600646105696]
内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。
本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
論文 参考訳（メタデータ） (2021-05-04T17:31:28Z) - Stochastic Learning Approach to Binary Optimization for Optimal Design
of Experiments [0.0]
本稿では,偏微分方程式などの数学モデルによるベイズ逆問題に対する最適実験設計 (OED) のための二項最適化への新しいアプローチを提案する。
OEDユーティリティ関数、すなわち正規化された最適性勾配はベルヌーイ分布に対する期待の形で目的関数にキャストされる。
この目的を確率的最適化ルーチンを用いて最適な観測方針を求めることで解決する。
論文 参考訳（メタデータ） (2021-01-15T03:54:12Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-09-01T19:12:11Z) - Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic
Optimization Problems [12.010310883787911]
我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。
実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
論文 参考訳（メタデータ） (2020-05-19T07:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。