論文の概要: High-Dimensional Sparse Data Low-rank Representation via Accelerated Asynchronous Parallel Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2408.16592v1
• Date: Thu, 29 Aug 2024 14:55:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 13:23:15.059151
• Title: High-Dimensional Sparse Data Low-rank Representation via Accelerated Asynchronous Parallel Stochastic Gradient Descent
• Title（参考訳）: 加速度同期並列確率勾配による高次元スパースデータ低ランク表現
• Authors: Qicong Hu, Hao Wu,
• Abstract要約: 低ランク表現は高次元スパース(HDS)データを低次元特徴空間にマッピングすることができる。 既存のLRモデルの最適化アルゴリズムは計算的に非効率であり、大規模データセット上で徐々に収束する。 A2PSGDは、HDSデータLRの既存の最適化アルゴリズムを精度とトレーニング時間の両方で上回る。
• 参考スコア（独自算出の注目度）: 2.2083091880368855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data characterized by high dimensionality and sparsity are commonly used to describe real-world node interactions. Low-rank representation (LR) can map high-dimensional sparse (HDS) data to low-dimensional feature spaces and infer node interactions via modeling data latent associations. Unfortunately, existing optimization algorithms for LR models are computationally inefficient and slowly convergent on large-scale datasets. To address this issue, this paper proposes an Accelerated Asynchronous Parallel Stochastic Gradient Descent A2PSGD for High-Dimensional Sparse Data Low-rank Representation with three fold-ideas: a) establishing a lock-free scheduler to simultaneously respond to scheduling requests from multiple threads; b) introducing a greedy algorithm-based load balancing strategy for balancing the computational load among threads; c) incorporating Nesterov's accelerated gradient into the learning scheme to accelerate model convergence. Empirical studies show that A2PSGD outperforms existing optimization algorithms for HDS data LR in both accuracy and training time.
• Abstract（参考訳）: 高次元性と空間性によって特徴づけられるデータは、実世界のノードの相互作用を記述するために一般的に使用される。 低ランク表現(LR)は、高次元スパース(HDS)データを低次元の特徴空間にマッピングし、潜在関連データをモデル化することでノード間相互作用を推論することができる。 残念ながら、既存のLRモデルの最適化アルゴリズムは計算的に非効率であり、大規模データセット上で徐々に収束している。 この問題に対処するために,3つの折り畳みイデアを持つ高次元スパースデータ低ランク表現のための非同期並列確率勾配勾配A2PSGDを提案する。 a) 複数のスレッドからのスケジューリング要求に同時に応答するロックフリースケジューラを確立すること。 ロ スレッド間の計算負荷のバランスをとるための欲求アルゴリズムに基づく負荷分散戦略を導入すること。 c) モデル収束を加速する学習スキームにネステロフの加速勾配を組み込む。 実験的研究により、A2PSGDはHDSデータLRの既存の最適化アルゴリズムを精度とトレーニング時間の両方で上回っていることが示された。

関連論文リスト

• TeZO: Empowering the Low-Rankness on the Temporal Dimension in the Zeroth-Order Optimization for Fine-tuning LLMs [58.19080159470868]
  モデルと時間次元の両方にわたって低ランク度をキャプチャする新しい低ランクZO推定器TeZOを提案する。 具体的には、時間次元に沿ったZO摂動を3次元テンソルとして表現し、Canonical Polyadic Decomposition (CPD)を用いて各低ランク2次元行列を抽出する。
  論文  参考訳（メタデータ） (2025-01-31T11:34:03Z)
• Asynchronous Stochastic Gradient Descent with Decoupled Backpropagation and Layer-Wise Updates [1.9241821314180372]
  非同期勾配降下法(ASGD)は訓練速度を改善することができるが、通信とスループットの差により遅延に敏感である。 PD-ASGDは、フォワードとバックのパスに別々のスレッドを使用し、更新を分離し、フォワードとバックのスレッドの比率を高くする。 提案手法では,遅延が存在する場合,同期データ並列処理よりも5.95タイム以上高速に動作しながら,最先端の処理結果に近い結果が得られる。
  論文  参考訳（メタデータ） (2024-10-08T12:32:36Z)
• An Adaptive Latent Factorization of Tensors Model for Embedding Dynamic Communication Network [15.577058568902272]
  Dynamic Communication Network (DCN) は、様々な通信ノード間の時間的相互作用を記述する。 本稿では,適応時間依存型低ランク表現モデル(ATT)を提案する。 実世界のDCN4つの実験結果から,提案したATTモデルは予測誤差と収束ラウンドの両方において,最先端のモデルを著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-08-29T14:40:32Z)
• Distributed Stochastic Gradient Descent with Staleness: A Stochastic Delay Differential Equation Based Framework [56.82432591933544]
  分散勾配降下(SGD)は、計算リソースのスケーリング、トレーニング時間の短縮、マシンラーニングにおけるユーザのプライバシ保護の支援などにより、近年注目されている。 本稿では,遅延微分方程式(SDDE)と勾配到着の近似に基づく分散SGDの実行時間と安定化について述べる。 活性化作業員の増加は, 安定度による分散SGDを必ずしも加速させるものではないことが興味深い。
  論文  参考訳（メタデータ） (2024-06-17T02:56:55Z)
• Robust Fully-Asynchronous Methods for Distributed Training over General Architecture [11.480605289411807]
  分散機械学習問題における完全な同期は、レイテンシ、パッケージの損失、ストラグラーの存在のため、非効率であり、不可能である。 本稿では,R-FAST (Fully-Asynchronous Gradient Tracking Method) を提案する。
  論文  参考訳（メタデータ） (2023-07-21T14:36:40Z)
• Decoupling and Recoupling Spatiotemporal Representation for RGB-D-based Motion Recognition [62.46544616232238]
  従来の動作認識手法は、密結合した多時間表現によって有望な性能を実現している。 本稿では,RGB-D に基づく動作認識において引き起こされた表現を分離し,再分離することを提案する。
  論文  参考訳（メタデータ） (2021-12-16T18:59:47Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• Spatial-Spectral Clustering with Anchor Graph for Hyperspectral Image [88.60285937702304]
  本稿では、HSIデータクラスタリングのための空間スペクトルクラスタリングとアンカーグラフ(SSCAG)という新しい非監視アプローチを提案する。 提案されたSSCAGは最先端のアプローチと競合する。
  論文  参考訳（メタデータ） (2021-04-24T08:09:27Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• HPSGD: Hierarchical Parallel SGD With Stale Gradients Featuring [18.8426865970643]
  ディープニューラルネットワーク(DNN)の分散トレーニングプロセスを促進するために,新しい階層型並列SGD(HPSGD)戦略を提案する。 提案手法が分散DNNトレーニングを大幅に促進し, 定常勾配の乱れを低減し, 固定壁面の精度を向上することを示す実験を行った。
  論文  参考訳（メタデータ） (2020-09-06T10:17:56Z)
• DaSGD: Squeezing SGD Parallelization Performance in Distributed Training Using Delayed Averaging [4.652668321425679]
  ミニバッチ勾配降下(SGD)アルゴリズムでは、作業者は前方/後方の伝搬を停止する必要がある。 DaSGDはSGDとフォワード/バックの伝搬を並列化し、通信オーバーヘッドの100%を隠蔽する。
  論文  参考訳（メタデータ） (2020-05-31T05:43:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。