論文の概要: Asymptotic Dynamics of Alternating Minimization for Bilinear Regression

• arxiv url: http://arxiv.org/abs/2402.04751v2
• Date: Mon, 26 Aug 2024 17:12:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 00:16:18.671346
• Title: Asymptotic Dynamics of Alternating Minimization for Bilinear Regression
• Title（参考訳）: 双線形回帰における交互最小化の漸近ダイナミクス
• Authors: Koki Okajima, Takashi Takahashi,
• Abstract要約: 交代最小化の力学は進化記憶における二次元的依存によって効果的に記述できることを示す。 この研究で開発された理論的枠組みは、反復最小化の範囲を超えて、様々な反復アルゴリズムの分析に適用できる。
• 参考スコア（独自算出の注目度）: 2.992602379681373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study investigates the asymptotic dynamics of alternating minimization applied to optimize a bilinear non-convex function with normally distributed covariates. This is achieved by employing the replica method to a multi-temperature glassy system which unfolds the algorithm's time evolution. Our results show that the dynamics can be described effectively by a two-dimensional discrete stochastic process, where each step depends on all previous time steps, revealing the structure of the memory dependence in the evolution of alternating minimization. The theoretical framework developed in this work can be applied to the analysis of various iterative algorithms, extending beyond the scope of alternating minimization.
• Abstract（参考訳）: 本研究では,普通に分散した共変量を持つ双線型非凸関数を最適化するために適用された交互最小化の漸近ダイナミクスについて検討した。 これは、複製法を、アルゴリズムの時間進化を広げる多温度ガラスシステムに応用することで達成される。 本研究は,各ステップが全ての時間ステップに依存する2次元離散確率過程によって動的に記述できることを示す。 この研究で開発された理論的枠組みは、反復最小化の範囲を超えて、様々な反復アルゴリズムの分析に適用できる。

関連論文リスト

• High-Dimensional Markov-switching Ordinary Differential Processes [23.17395115394655]
  まず, 離散サンプルから連続サンプル経路を復元し, プロセスのパラメータを推定する2段階アルゴリズムを開発した。 我々は,その過程が$beta$-mixingである場合の統計的誤差と線形収束保証に関する新しい理論的知見を提供する。 本モデルを用いて,ADHD群と正常制御群における静止状態脳ネットワークの差異について検討する。
  論文  参考訳（メタデータ） (2024-12-30T18:41:28Z)
• Stochastic gradient descent estimation of generalized matrix factorization models with application to single-cell RNA sequencing data [41.94295877935867]
  単細胞RNAシークエンシングは、個々の細胞レベルでの遺伝子発現の定量化を可能にする。 次元の減少は、サンプルの可視化、クラスタリング、表現型特徴付けを単純化する一般的な前処理ステップである。 一般指数分散族分布を仮定した一般化行列分解モデルを提案する。 本稿では,モデルを効率的に推定できるスケーラブル適応降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-29T16:02:15Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• A primal-dual perspective for distributed TD-learning [7.871657629581001]
  本研究の目的は,ネットワーク型マルチエージェントマルコフ決定プロセスにおける分散時間差(TD)学習について検討することである。 提案手法は分散最適化アルゴリズムに基づいており、これはヌル空間制約を受ける原始双対常微分方程式(ODE)の力学として解釈できる。
  論文  参考訳（メタデータ） (2023-10-01T10:38:46Z)
• Structured Optimal Variational Inference for Dynamic Latent Space Models [16.531262817315696]
  動的ネットワークの潜在空間モデルについて検討し、その目的は、ペアの内積と潜在位置のインターセプトを推定することである。 後部推論と計算スケーラビリティのバランスをとるために、構造的平均場変動推論フレームワークを検討する。
  論文  参考訳（メタデータ） (2022-09-29T22:10:42Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
  最適化のための異なる手法を導出できる変分法を導入する。 我々は1対1の対応において最適化手法の2つのファミリを導出する。 自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
  論文  参考訳（メタデータ） (2021-06-04T20:21:53Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Sparse Orthogonal Variational Inference for Gaussian Processes [34.476453597078894]
  誘導点を用いたガウス過程に対するスパース変分近似の新しい解釈を導入する。 この定式化は既存の近似を復元し、同時に限界確率と新しい変分推論アルゴリズムのより厳密な下界を得ることができることを示す。
  論文  参考訳（メタデータ） (2019-10-23T15:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。