Fugu-MT 論文翻訳(概要): Asymptotic Dynamics of Alternating Minimization for Non-Convex Optimization

論文の概要: Asymptotic Dynamics of Alternating Minimization for Non-Convex Optimization

arxiv url: http://arxiv.org/abs/2402.04751v1
Date: Wed, 7 Feb 2024 11:09:10 GMT
ステータス: 処理完了
システム内更新日: 2024-02-08 15:51:56.694546
Title: Asymptotic Dynamics of Alternating Minimization for Non-Convex Optimization
Title（参考訳）: 非凸最適化のための交互最小化の漸近ダイナミクス
Authors: Koki Okajima and Takashi Takahashi
Abstract要約: 本研究では,正規分布コスと交互に作用する非線形関数のダイナミクスについて検討する。我々は、統計物理学からの複製依存を多段階的アプローチで適用し、依存関係の進化を正確に追跡する。
参考スコア（独自算出の注目度）: 3.5353632767823506
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This study investigates the asymptotic dynamics of alternating minimization applied to optimize a bilinear non-convex function with normally distributed covariates. We employ the replica method from statistical physics in a multi-step approach to precisely trace the algorithm's evolution. Our findings indicate that the dynamics can be described effectively by a two--dimensional discrete stochastic process, where each step depends on all previous time steps, revealing a memory dependency in the procedure. The theoretical framework developed in this work is broadly applicable for the analysis of various iterative algorithms, extending beyond the scope of alternating minimization.
Abstract（参考訳）: 本研究では,正規分布共変量を持つ双線型非線形凸関数の最適化に適用される交互最小化の漸近ダイナミクスについて検討する。統計物理学のレプリカ法を多段階のアプローチで適用し,アルゴリズムの進化を正確に追跡する。以上の結果から,各ステップが前回のすべての時間ステップに依存する2次元離散確率過程によって動的に記述できることが明らかとなった。この研究で開発された理論的枠組みは、反復最小化の範囲を超えて、様々な反復アルゴリズムの分析に広く適用できる。

関連論文リスト

High-Dimensional Markov-switching Ordinary Differential Processes [23.17395115394655]
まず, 離散サンプルから連続サンプル経路を復元し, プロセスのパラメータを推定する2段階アルゴリズムを開発した。我々は,その過程が$beta$-mixingである場合の統計的誤差と線形収束保証に関する新しい理論的知見を提供する。本モデルを用いて,ADHD群と正常制御群における静止状態脳ネットワークの差異について検討する。
論文参考訳（メタデータ） (2024-12-30T18:41:28Z)
Stochastic gradient descent estimation of generalized matrix factorization models with application to single-cell RNA sequencing data [41.94295877935867]
単細胞RNAシークエンシングは、個々の細胞レベルでの遺伝子発現の定量化を可能にする。次元の減少は、サンプルの可視化、クラスタリング、表現型特徴付けを単純化する一般的な前処理ステップである。一般指数分散族分布を仮定した一般化行列分解モデルを提案する。本稿では,モデルを効率的に推定できるスケーラブル適応降下アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-12-29T16:02:15Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
A primal-dual perspective for distributed TD-learning [7.871657629581001]
本研究の目的は,ネットワーク型マルチエージェントマルコフ決定プロセスにおける分散時間差(TD)学習について検討することである。提案手法は分散最適化アルゴリズムに基づいており、これはヌル空間制約を受ける原始双対常微分方程式(ODE)の力学として解釈できる。
論文参考訳（メタデータ） (2023-10-01T10:38:46Z)
Structured Optimal Variational Inference for Dynamic Latent Space Models [16.531262817315696]
動的ネットワークの潜在空間モデルについて検討し、その目的は、ペアの内積と潜在位置のインターセプトを推定することである。後部推論と計算スケーラビリティのバランスをとるために、構造的平均場変動推論フレームワークを検討する。
論文参考訳（メタデータ） (2022-09-29T22:10:42Z)
Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文参考訳（メタデータ） (2021-11-29T15:10:09Z)
Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文参考訳（メタデータ） (2021-06-09T08:05:36Z)
A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
最適化のための異なる手法を導出できる変分法を導入する。我々は1対1の対応において最適化手法の2つのファミリを導出する。自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
論文参考訳（メタデータ） (2021-06-04T20:21:53Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)
Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。分散による離散乗法雑音のパラメータによく現れることを示す。最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文参考訳（メタデータ） (2020-06-11T09:58:01Z)
Sparse Orthogonal Variational Inference for Gaussian Processes [34.476453597078894]
誘導点を用いたガウス過程に対するスパース変分近似の新しい解釈を導入する。この定式化は既存の近似を復元し、同時に限界確率と新しい変分推論アルゴリズムのより厳密な下界を得ることができることを示す。
論文参考訳（メタデータ） (2019-10-23T15:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。