Fugu-MT 論文翻訳(概要): Asymptotic Dynamics of Alternating Minimization for Bilinear Regression

論文の概要: Asymptotic Dynamics of Alternating Minimization for Bilinear Regression

arxiv url: http://arxiv.org/abs/2402.04751v2
Date: Mon, 26 Aug 2024 17:12:01 GMT
ステータス: 処理完了
システム内更新日: 2024-08-28 00:16:18.671346
Title: Asymptotic Dynamics of Alternating Minimization for Bilinear Regression
Title（参考訳）: 双線形回帰における交互最小化の漸近ダイナミクス
Authors: Koki Okajima, Takashi Takahashi,
Abstract要約: 交代最小化の力学は進化記憶における二次元的依存によって効果的に記述できることを示す。この研究で開発された理論的枠組みは、反復最小化の範囲を超えて、様々な反復アルゴリズムの分析に適用できる。
参考スコア（独自算出の注目度）: 2.992602379681373
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This study investigates the asymptotic dynamics of alternating minimization applied to optimize a bilinear non-convex function with normally distributed covariates. This is achieved by employing the replica method to a multi-temperature glassy system which unfolds the algorithm's time evolution. Our results show that the dynamics can be described effectively by a two-dimensional discrete stochastic process, where each step depends on all previous time steps, revealing the structure of the memory dependence in the evolution of alternating minimization. The theoretical framework developed in this work can be applied to the analysis of various iterative algorithms, extending beyond the scope of alternating minimization.
Abstract（参考訳）: 本研究では,普通に分散した共変量を持つ双線型非凸関数を最適化するために適用された交互最小化の漸近ダイナミクスについて検討した。これは、複製法を、アルゴリズムの時間進化を広げる多温度ガラスシステムに応用することで達成される。本研究は,各ステップが全ての時間ステップに依存する2次元離散確率過程によって動的に記述できることを示す。この研究で開発された理論的枠組みは、反復最小化の範囲を超えて、様々な反復アルゴリズムの分析に適用できる。

関連論文リスト

Multi-body dynamic evolution sequence-assisted PSO for interval analysis [0.0]
本稿では,新しい間隔解析手法,すなわち多体動的進化系列支援PSOを提案する。乱数列の代わりに動的進化列を導入することにより,探索空間をカバーする難易度HCLPSO面に対処する。ケーススタディの結果,DES-PSOは間隔解析の計算速度を大幅に向上させることができることが示された。
論文参考訳（メタデータ） (2024-09-21T10:17:27Z)
Online estimation of the inverse of the Hessian for stochastic optimization with application to universal stochastic Newton algorithms [4.389938747401259]
本稿では,期待値として記述された凸関数の最小値推定のための2次最適化について述べる。 Robbins-Monro 法を用いて逆 Hessian 行列の直接帰納的推定手法を提案する。とりわけ、普遍的なニュートン法を開発し、提案手法の効率性を調べることができる。
論文参考訳（メタデータ） (2024-01-15T13:58:30Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文参考訳（メタデータ） (2023-02-24T18:41:48Z)
Robust empirical risk minimization via Newton's method [9.797319790710711]
実験的リスク最小化のためのニュートン法の新しい変種について検討した。目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-01-30T18:54:54Z)
Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文参考訳（メタデータ） (2021-11-29T15:10:09Z)
Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文参考訳（メタデータ） (2021-06-09T08:05:36Z)
A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
最適化のための異なる手法を導出できる変分法を導入する。我々は1対1の対応において最適化手法の2つのファミリを導出する。自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
論文参考訳（メタデータ） (2021-06-04T20:21:53Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)
Generalized Kernel-Based Dynamic Mode Decomposition [0.0]
我々は、カーネルベースの動的モード分解と呼ばれる最近のアプローチを一般化する低階制約最適化とカーネルベースの計算に基づくアルゴリズムを考案する。このアルゴリズムの特徴は近似精度の向上、数値シミュレーションによる証明、計算複雑性である。
論文参考訳（メタデータ） (2020-02-11T13:50:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。