論文の概要: Mirror Descent with Relative Smoothness in Measure Spaces, with application to Sinkhorn and EM

• arxiv url: http://arxiv.org/abs/2206.08873v1
• Date: Fri, 17 Jun 2022 16:19:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-20 13:36:19.066594
• Title: Mirror Descent with Relative Smoothness in Measure Spaces, with application to Sinkhorn and EM
• Title（参考訳）: 測度空間における相対滑らかな鏡像とシンクホーンとEMへの応用
• Authors: Pierre-Cyril Aubin-Frankowski and Anna Korba and Flavien L\'eger
• Abstract要約: 本稿では,無限次元環境下でのミラー降下アルゴリズムの収束性について検討する。 結果が結合分布とクルバック-リーブラー分岐に適用され、シンクホーンの最適輸送に対する原始的な反復がミラー降下に対応することを示す。
• 参考スコア（独自算出の注目度）: 11.007661197604065
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Many problems in machine learning can be formulated as optimizing a convex functional over a space of measures. This paper studies the convergence of the mirror descent algorithm in this infinite-dimensional setting. Defining Bregman divergences through directional derivatives, we derive the convergence of the scheme for relatively smooth and strongly convex pairs of functionals. Applying our result to joint distributions and the Kullback--Leibler (KL) divergence, we show that Sinkhorn's primal iterations for entropic optimal transport in the continuous setting correspond to a mirror descent, and we obtain a new proof of its (sub)linear convergence. We also show that Expectation Maximization (EM) can always formally be written as a mirror descent, and, when optimizing on the latent distribution while fixing the mixtures, we derive sublinear rates of convergence.
• Abstract（参考訳）: 機械学習における多くの問題は、測度空間上の凸関数の最適化として定式化することができる。 本稿では,この無限次元設定におけるミラー降下アルゴリズムの収束について検討する。 方向微分を通じてブレグマンの発散を定義することにより、関数の相対滑らかかつ強い凸対に対するスキームの収束を導出する。 この結果を合同分布とkullback-leibler (kl) 分岐に適用し, 連続配置におけるエントロピー最適輸送のためのシンクホーンの原始反復がミラー降下に対応することを証明し, その(sub)線形収束の新たな証明を得る。 また, 期待最大化 (em) は常にミラー降下として書けることを示し, 混合を固定しながら潜在分布を最適化すると, 部分線形収束率を導出する。

関連論文リスト

• Taming Nonconvex Stochastic Mirror Descent with General Bregman Divergence [25.717501580080846]
  本稿では、現代の非最適化設定における勾配フォワードミラー(SMD)の収束を再考する。 トレーニングのために,線形ネットワーク問題に対する確率収束アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-27T17:56:49Z)
• Mirror Descent-Ascent for mean-field min-max problems [0.0]
  本研究では,測度空間上のmin-max問題を解くために,ミラー降下指数アルゴリズムの2つの変種について検討する。 二階堂・石田誤差で測定された混合ナッシュ平衡への収束速度は, 同時および逐次スキームに対してそれぞれ$mathcalOleft(N-1/2right)$と$mathcalOleft(N-2/3right)$であることを示す。
  論文  参考訳（メタデータ） (2024-02-12T22:52:32Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
  高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。 低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
  論文  参考訳（メタデータ） (2023-10-30T17:55:28Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Stochastic Mirror Descent: Convergence Analysis and Adaptive Variants via the Mirror Stochastic Polyak Stepsize [20.376216873620763]
  比較的滑らかで滑らかな凸最適化の下でのミラー降下(SMD)の収束について検討した。 我々は、新しい適応的なステップサイズスキーム、ミラーポリアクステップサイズ(mSPS)を提案する。
  論文  参考訳（メタデータ） (2021-10-28T19:49:40Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Efficient constrained sampling via the mirror-Langevin algorithm [9.061408029414455]
  本稿では,ミラー・ランジュバン拡散の新しい離散化を提案し,その収束のクリップな証明を与える。 コンパクトな集合に支持された対数凹分布からサンプリングする作業において,我々の理論的結果は既存の保証よりもはるかに優れている。
  論文  参考訳（メタデータ） (2020-10-30T11:54:24Z)
• Distributed Mirror Descent with Integral Feedback: Asymptotic Convergence Analysis of Continuous-time Dynamics [11.498089180181365]
  この作業は分散最適化に対処し、エージェントのネットワークは、大域的に凸な目的関数を最小化しようとする。 本稿では,局所的な情報を用いてグローバルな最適値に収束する連続時間分散ミラー降下法を提案する。
  論文  参考訳（メタデータ） (2020-09-14T21:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。