論文の概要: Preconditioned Inexact Stochastic ADMM for Deep Model

• arxiv url: http://arxiv.org/abs/2502.10784v1
• Date: Sat, 15 Feb 2025 12:28:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:57.946568
• Title: Preconditioned Inexact Stochastic ADMM for Deep Model
• Title（参考訳）: 深部モデルのための事前条件付き不正確な確率ADMM
• Authors: Shenglong Zhou, Ouya Wang, Ziyan Luo, Yongxu Zhu, Geoffrey Ye Li,
• Abstract要約: 本稿では,拡張性のある並列計算を可能にするアルゴリズム PISA を開発し,様々な第2モーメント方式をサポートする。 厳密な理論的な保証の下で、アルゴリズムは勾配のリプシッツの唯一の仮定の下で収束する。 視覚モデル、大規模言語モデル、強化学習モデル、生成的敵ネットワーク、繰り返しニューラルネットワークを含む様々なFMの総合的または微調整実験は、様々な最先端の方向と比較して優れた数値性能を示す。
• 参考スコア（独自算出の注目度）: 35.37705488695026
• License:
• Abstract: The recent advancement of foundation models (FMs) has brought about a paradigm shift, revolutionizing various sectors worldwide. The popular optimizers used to train these models are stochastic gradient descent-based algorithms, which face inherent limitations, such as slow convergence and stringent assumptions for convergence. In particular, data heterogeneity arising from distributed settings poses significant challenges to their theoretical and numerical performance. This paper develops an algorithm, PISA ({P}reconditioned {I}nexact {S}tochastic {A}lternating Direction Method of Multipliers), which enables scalable parallel computing and supports various second-moment schemes. Grounded in rigorous theoretical guarantees, the algorithm converges under the sole assumption of Lipschitz continuity of the gradient, thereby removing the need for other conditions commonly imposed by stochastic methods. This capability enables PISA to tackle the challenge of data heterogeneity effectively. Comprehensive experimental evaluations for training or fine-tuning diverse FMs, including vision models, large language models, reinforcement learning models, generative adversarial networks, and recurrent neural networks, demonstrate its superior numerical performance compared to various state-of-the-art optimizers.
• Abstract（参考訳）: ファンデーションモデル(FM)の最近の進歩はパラダイムシフトをもたらし、世界中の様々な分野に革命をもたらした。 これらのモデルを訓練するのに使われる一般的なオプティマイザは確率的勾配降下に基づくアルゴリズムであり、収束の遅い収束や収束の厳密な仮定のような固有の制限に直面している。 特に、分散設定から生じるデータ不均一性は、理論的および数値的性能に重大な課題をもたらす。 本稿では,拡張性のある並列計算を可能にするアルゴリズム PISA ({P}reconditioned {I}nexact {S}tochastic {A}lternating Direction Method of Multipliers) を開発した。 厳密な理論上の保証により、アルゴリズムは勾配のリプシッツ連続性の唯一の仮定の下で収束し、確率的方法によって通常に課される他の条件の必要性を取り除く。 この能力により、PISAはデータ不均一性の課題に効果的に取り組むことができる。 視覚モデル、大規模言語モデル、強化学習モデル、生成的敵ネットワーク、繰り返しニューラルネットワークなど、様々なFMの訓練や微調整に関する総合的な実験的評価は、様々な最先端オプティマイザと比較して優れた数値性能を示す。

関連論文リスト

• Diffusion Models as Network Optimizers: Explorations and Analysis [71.69869025878856]
  生成拡散モデル(GDM)は,ネットワーク最適化の新しいアプローチとして期待されている。 本研究ではまず,生成モデルの本質的な特徴について考察する。 本稿では,識別的ネットワーク最適化よりも生成モデルの利点を簡潔かつ直感的に示す。
  論文  参考訳（メタデータ） (2024-11-01T09:05:47Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Distributed Bayesian Learning of Dynamic States [65.7870637855531]
  提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。 逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
  論文  参考訳（メタデータ） (2022-12-05T19:40:17Z)
• Probabilistic partition of unity networks for high-dimensional regression problems [1.0227479910430863]
  我々は高次元回帰問題におけるユニタリネットワーク(PPOU-Net)モデルの分割について検討する。 本稿では適応次元の減少に着目した一般的な枠組みを提案する。 PPOU-Netsは、数値実験において、同等の大きさのベースライン完全接続ニューラルネットワークを一貫して上回っている。
  論文  参考訳（メタデータ） (2022-10-06T06:01:36Z)
• Improved Prediction and Network Estimation Using the Monotone Single Index Multi-variate Autoregressive Model [34.529641317832024]
  単調単一指数多変量自己回帰モデル(SIMAM)に基づく半パラメトリックアプローチを開発する。 我々は、従属データに対する理論的保証と、交互に投影される勾配降下アルゴリズムを提供する。 シミュレーションデータと2つの実データ例において,優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-28T12:32:29Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Statistical optimality and stability of tangent transform algorithms in logit models [6.9827388859232045]
  我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。 特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。 我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
  論文  参考訳（メタデータ） (2020-10-25T05:15:13Z)
• SODEN: A Scalable Continuous-Time Survival Model through Ordinary Differential Equation Networks [14.564168076456822]
  本稿では、ニューラルネットワークとスケーラブルな最適化アルゴリズムを用いた生存分析のためのフレキシブルモデルを提案する。 提案手法の有効性を,既存の最先端ディープラーニングサバイバル分析モデルと比較した。
  論文  参考訳（メタデータ） (2020-08-19T19:11:25Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。