Fugu-MT 論文翻訳(概要): Asymptotic Dynamics of Alternating Minimization for Non-Convex Optimization

論文の概要: Asymptotic Dynamics of Alternating Minimization for Non-Convex Optimization

arxiv url: http://arxiv.org/abs/2402.04751v1
Date: Wed, 7 Feb 2024 11:09:10 GMT
ステータス: 処理完了
システム内更新日: 2024-02-08 15:51:56.694546
Title: Asymptotic Dynamics of Alternating Minimization for Non-Convex Optimization
Title（参考訳）: 非凸最適化のための交互最小化の漸近ダイナミクス
Authors: Koki Okajima and Takashi Takahashi
Abstract要約: 本研究では,正規分布コスと交互に作用する非線形関数のダイナミクスについて検討する。我々は、統計物理学からの複製依存を多段階的アプローチで適用し、依存関係の進化を正確に追跡する。
参考スコア（独自算出の注目度）: 3.5353632767823506
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This study investigates the asymptotic dynamics of alternating minimization applied to optimize a bilinear non-convex function with normally distributed covariates. We employ the replica method from statistical physics in a multi-step approach to precisely trace the algorithm's evolution. Our findings indicate that the dynamics can be described effectively by a two--dimensional discrete stochastic process, where each step depends on all previous time steps, revealing a memory dependency in the procedure. The theoretical framework developed in this work is broadly applicable for the analysis of various iterative algorithms, extending beyond the scope of alternating minimization.
Abstract（参考訳）: 本研究では,正規分布共変量を持つ双線型非線形凸関数の最適化に適用される交互最小化の漸近ダイナミクスについて検討する。統計物理学のレプリカ法を多段階のアプローチで適用し,アルゴリズムの進化を正確に追跡する。以上の結果から,各ステップが前回のすべての時間ステップに依存する2次元離散確率過程によって動的に記述できることが明らかとなった。この研究で開発された理論的枠組みは、反復最小化の範囲を超えて、様々な反復アルゴリズムの分析に広く適用できる。

関連論文リスト

Multi-body dynamic evolution sequence-assisted PSO for interval analysis [0.0]
本稿では,新しい間隔解析手法,すなわち多体動的進化系列支援PSOを提案する。乱数列の代わりに動的進化列を導入することにより,探索空間をカバーする難易度HCLPSO面に対処する。ケーススタディの結果,DES-PSOは間隔解析の計算速度を大幅に向上させることができることが示された。
論文参考訳（メタデータ） (2024-09-21T10:17:27Z)
Online estimation of the inverse of the Hessian for stochastic optimization with application to universal stochastic Newton algorithms [4.389938747401259]
本稿では,期待値として記述された凸関数の最小値推定のための2次最適化について述べる。 Robbins-Monro 法を用いて逆 Hessian 行列の直接帰納的推定手法を提案する。とりわけ、普遍的なニュートン法を開発し、提案手法の効率性を調べることができる。
論文参考訳（メタデータ） (2024-01-15T13:58:30Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文参考訳（メタデータ） (2023-02-24T18:41:48Z)
Robust empirical risk minimization via Newton's method [9.797319790710711]
実験的リスク最小化のためのニュートン法の新しい変種について検討した。目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-01-30T18:54:54Z)
Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文参考訳（メタデータ） (2021-11-29T15:10:09Z)
Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文参考訳（メタデータ） (2021-06-09T08:05:36Z)
A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
最適化のための異なる手法を導出できる変分法を導入する。我々は1対1の対応において最適化手法の2つのファミリを導出する。自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
論文参考訳（メタデータ） (2021-06-04T20:21:53Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)
Generalized Kernel-Based Dynamic Mode Decomposition [0.0]
我々は、カーネルベースの動的モード分解と呼ばれる最近のアプローチを一般化する低階制約最適化とカーネルベースの計算に基づくアルゴリズムを考案する。このアルゴリズムの特徴は近似精度の向上、数値シミュレーションによる証明、計算複雑性である。
論文参考訳（メタデータ） (2020-02-11T13:50:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。