論文の概要: Asymptotic Dynamics of Alternating Minimization for Non-Convex
Optimization
- arxiv url: http://arxiv.org/abs/2402.04751v1
- Date: Wed, 7 Feb 2024 11:09:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 15:51:56.694546
- Title: Asymptotic Dynamics of Alternating Minimization for Non-Convex
Optimization
- Title(参考訳): 非凸最適化のための交互最小化の漸近ダイナミクス
- Authors: Koki Okajima and Takashi Takahashi
- Abstract要約: 本研究では,正規分布コスと交互に作用する非線形関数のダイナミクスについて検討する。
我々は、統計物理学からの複製依存を多段階的アプローチで適用し、依存関係の進化を正確に追跡する。
- 参考スコア(独自算出の注目度): 3.5353632767823506
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study investigates the asymptotic dynamics of alternating minimization
applied to optimize a bilinear non-convex function with normally distributed
covariates. We employ the replica method from statistical physics in a
multi-step approach to precisely trace the algorithm's evolution. Our findings
indicate that the dynamics can be described effectively by a two--dimensional
discrete stochastic process, where each step depends on all previous time
steps, revealing a memory dependency in the procedure. The theoretical
framework developed in this work is broadly applicable for the analysis of
various iterative algorithms, extending beyond the scope of alternating
minimization.
- Abstract(参考訳): 本研究では,正規分布共変量を持つ双線型非線形凸関数の最適化に適用される交互最小化の漸近ダイナミクスについて検討する。
統計物理学のレプリカ法を多段階のアプローチで適用し,アルゴリズムの進化を正確に追跡する。
以上の結果から,各ステップが前回のすべての時間ステップに依存する2次元離散確率過程によって動的に記述できることが明らかとなった。
この研究で開発された理論的枠組みは、反復最小化の範囲を超えて、様々な反復アルゴリズムの分析に広く適用できる。
関連論文リスト
- Online estimation of the inverse of the Hessian for stochastic
optimization with application to universal stochastic Newton algorithms [0.0]
本稿では,期待値として記述された凸関数の最小値推定のための2次最適化について述べる。
Robbins-Monro 法を用いて逆 Hessian 行列の直接帰納的推定手法を提案する。
とりわけ、普遍的なニュートン法を開発し、提案手法の効率性を調べることができる。
論文 参考訳(メタデータ) (2024-01-15T13:58:30Z) - Stochastic Nonlinear Control via Finite-dimensional Spectral Dynamic
Embedding [22.946517604055735]
本稿では,非線形系の最適制御のためのスペクトルダイナミクス埋め込み制御(SDEC)を提案する。
我々は、状態-作用値関数を線形に表現するために無限次元の特徴を使い、実用的な実装のために有限次元のトランケーション近似を利用する。
論文 参考訳(メタデータ) (2023-04-08T04:23:46Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳(メタデータ) (2023-02-24T18:41:48Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳(メタデータ) (2021-11-29T15:10:09Z) - A theoretical and empirical study of new adaptive algorithms with
additional momentum steps and shifted updates for stochastic non-convex
optimization [0.0]
適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。
本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
論文 参考訳(メタデータ) (2021-10-16T09:47:57Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
最適化のための異なる手法を導出できる変分法を導入する。
我々は1対1の対応において最適化手法の2つのファミリを導出する。
自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
論文 参考訳(メタデータ) (2021-06-04T20:21:53Z) - A Dynamical Systems Approach for Convergence of the Bayesian EM
Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。
本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。
高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-23T01:34:18Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z) - Generalized Kernel-Based Dynamic Mode Decomposition [0.0]
我々は、カーネルベースの動的モード分解と呼ばれる最近のアプローチを一般化する低階制約最適化とカーネルベースの計算に基づくアルゴリズムを考案する。
このアルゴリズムの特徴は近似精度の向上、数値シミュレーションによる証明、計算複雑性である。
論文 参考訳(メタデータ) (2020-02-11T13:50:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。