Fugu-MT 論文翻訳(概要): Asymptotic Dynamics of Alternating Minimization for Bilinear Regression

論文の概要: Asymptotic Dynamics of Alternating Minimization for Bilinear Regression

arxiv url: http://arxiv.org/abs/2402.04751v2
Date: Mon, 26 Aug 2024 17:12:01 GMT
ステータス: 翻訳完了
システム内更新日: 2024-08-28 00:16:18.671346
Title: Asymptotic Dynamics of Alternating Minimization for Bilinear Regression
Title（参考訳）: 双線形回帰における交互最小化の漸近ダイナミクス
Authors: Koki Okajima, Takashi Takahashi,
Abstract要約: 交代最小化の力学は進化記憶における二次元的依存によって効果的に記述できることを示す。この研究で開発された理論的枠組みは、反復最小化の範囲を超えて、様々な反復アルゴリズムの分析に適用できる。
参考スコア（独自算出の注目度）: 2.992602379681373
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This study investigates the asymptotic dynamics of alternating minimization applied to optimize a bilinear non-convex function with normally distributed covariates. This is achieved by employing the replica method to a multi-temperature glassy system which unfolds the algorithm's time evolution. Our results show that the dynamics can be described effectively by a two-dimensional discrete stochastic process, where each step depends on all previous time steps, revealing the structure of the memory dependence in the evolution of alternating minimization. The theoretical framework developed in this work can be applied to the analysis of various iterative algorithms, extending beyond the scope of alternating minimization.
Abstract（参考訳）: 本研究では,普通に分散した共変量を持つ双線型非凸関数を最適化するために適用された交互最小化の漸近ダイナミクスについて検討した。これは、複製法を、アルゴリズムの時間進化を広げる多温度ガラスシステムに応用することで達成される。本研究は,各ステップが全ての時間ステップに依存する2次元離散確率過程によって動的に記述できることを示す。この研究で開発された理論的枠組みは、反復最小化の範囲を超えて、様々な反復アルゴリズムの分析に適用できる。

関連論文リスト

High-Dimensional Markov-switching Ordinary Differential Processes [23.17395115394655]
まず, 離散サンプルから連続サンプル経路を復元し, プロセスのパラメータを推定する2段階アルゴリズムを開発した。我々は,その過程が$beta$-mixingである場合の統計的誤差と線形収束保証に関する新しい理論的知見を提供する。本モデルを用いて,ADHD群と正常制御群における静止状態脳ネットワークの差異について検討する。
論文参考訳（メタデータ） (2024-12-30T18:41:28Z)
Stochastic gradient descent estimation of generalized matrix factorization models with application to single-cell RNA sequencing data [41.94295877935867]
単細胞RNAシークエンシングは、個々の細胞レベルでの遺伝子発現の定量化を可能にする。次元の減少は、サンプルの可視化、クラスタリング、表現型特徴付けを単純化する一般的な前処理ステップである。一般指数分散族分布を仮定した一般化行列分解モデルを提案する。本稿では,モデルを効率的に推定できるスケーラブル適応降下アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-12-29T16:02:15Z)
Multi-body dynamic evolution sequence-assisted PSO for interval analysis [0.0]
本稿では,新しい間隔解析手法,すなわち多体動的進化系列支援PSOを提案する。乱数列の代わりに動的進化列を導入することにより,探索空間をカバーする難易度HCLPSO面に対処する。ケーススタディの結果,DES-PSOは間隔解析の計算速度を大幅に向上させることができることが示された。
論文参考訳（メタデータ） (2024-09-21T10:17:27Z)
Online estimation of the inverse of the Hessian for stochastic optimization with application to universal stochastic Newton algorithms [4.389938747401259]
本稿では,期待値として記述された凸関数の最小値推定のための2次最適化について述べる。 Robbins-Monro 法を用いて逆 Hessian 行列の直接帰納的推定手法を提案する。とりわけ、普遍的なニュートン法を開発し、提案手法の効率性を調べることができる。
論文参考訳（メタデータ） (2024-01-15T13:58:30Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
A primal-dual perspective for distributed TD-learning [6.663174194579773]
本研究の目的は,ネットワーク型マルチエージェントマルコフ決定プロセスにおける分散時間差(TD)学習について検討することである。提案手法は分散最適化アルゴリズムに基づいており、これはヌル空間制約を受ける原始双対常微分方程式(ODE)の力学として解釈できる。
論文参考訳（メタデータ） (2023-10-01T10:38:46Z)
Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文参考訳（メタデータ） (2023-02-24T18:41:48Z)
Robust empirical risk minimization via Newton's method [9.797319790710711]
実験的リスク最小化のためのニュートン法の新しい変種について検討した。目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-01-30T18:54:54Z)
Structured Optimal Variational Inference for Dynamic Latent Space Models [16.531262817315696]
動的ネットワークの潜在空間モデルについて検討し、その目的は、ペアの内積と潜在位置のインターセプトを推定することである。後部推論と計算スケーラビリティのバランスをとるために、構造的平均場変動推論フレームワークを検討する。
論文参考訳（メタデータ） (2022-09-29T22:10:42Z)
Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文参考訳（メタデータ） (2021-11-29T15:10:09Z)
Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文参考訳（メタデータ） (2021-06-09T08:05:36Z)
A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
最適化のための異なる手法を導出できる変分法を導入する。我々は1対1の対応において最適化手法の2つのファミリを導出する。自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
論文参考訳（メタデータ） (2021-06-04T20:21:53Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)
Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。分散による離散乗法雑音のパラメータによく現れることを示す。最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文参考訳（メタデータ） (2020-06-11T09:58:01Z)
Generalized Kernel-Based Dynamic Mode Decomposition [0.0]
我々は、カーネルベースの動的モード分解と呼ばれる最近のアプローチを一般化する低階制約最適化とカーネルベースの計算に基づくアルゴリズムを考案する。このアルゴリズムの特徴は近似精度の向上、数値シミュレーションによる証明、計算複雑性である。
論文参考訳（メタデータ） (2020-02-11T13:50:00Z)
Non-linear reduced modeling of dynamical systems using kernel methods and low-rank approximation [5.935306543481018]
我々は,カーネルヒルベルト空間における線形近似に基づく非線形力学のデータ駆動還元モデリングのための新しい効率的なアルゴリズムを提案する。このアルゴリズムは、カーネルベースの計算を有利に活用しながら、低ランク制約最適化問題の閉形式解を利用する。
論文参考訳（メタデータ） (2017-10-30T13:06:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。