論文の概要: High-Dimensional Sparse Data Low-rank Representation via Accelerated Asynchronous Parallel Stochastic Gradient Descent
- arxiv url: http://arxiv.org/abs/2408.16592v1
- Date: Thu, 29 Aug 2024 14:55:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-30 13:23:15.059151
- Title: High-Dimensional Sparse Data Low-rank Representation via Accelerated Asynchronous Parallel Stochastic Gradient Descent
- Title（参考訳）: 加速度同期並列確率勾配による高次元スパースデータ低ランク表現
- Authors: Qicong Hu, Hao Wu,
- Abstract要約: 低ランク表現は高次元スパース(HDS)データを低次元特徴空間にマッピングすることができる。
既存のLRモデルの最適化アルゴリズムは計算的に非効率であり、大規模データセット上で徐々に収束する。
A2PSGDは、HDSデータLRの既存の最適化アルゴリズムを精度とトレーニング時間の両方で上回る。
- 参考スコア（独自算出の注目度）: 2.2083091880368855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data characterized by high dimensionality and sparsity are commonly used to describe real-world node interactions. Low-rank representation (LR) can map high-dimensional sparse (HDS) data to low-dimensional feature spaces and infer node interactions via modeling data latent associations. Unfortunately, existing optimization algorithms for LR models are computationally inefficient and slowly convergent on large-scale datasets. To address this issue, this paper proposes an Accelerated Asynchronous Parallel Stochastic Gradient Descent A2PSGD for High-Dimensional Sparse Data Low-rank Representation with three fold-ideas: a) establishing a lock-free scheduler to simultaneously respond to scheduling requests from multiple threads; b) introducing a greedy algorithm-based load balancing strategy for balancing the computational load among threads; c) incorporating Nesterov's accelerated gradient into the learning scheme to accelerate model convergence. Empirical studies show that A2PSGD outperforms existing optimization algorithms for HDS data LR in both accuracy and training time.
- Abstract（参考訳）: 高次元性と空間性によって特徴づけられるデータは、実世界のノードの相互作用を記述するために一般的に使用される。
低ランク表現(LR)は、高次元スパース(HDS)データを低次元の特徴空間にマッピングし、潜在関連データをモデル化することでノード間相互作用を推論することができる。
残念ながら、既存のLRモデルの最適化アルゴリズムは計算的に非効率であり、大規模データセット上で徐々に収束している。
この問題に対処するために,3つの折り畳みイデアを持つ高次元スパースデータ低ランク表現のための非同期並列確率勾配勾配A2PSGDを提案する。
a) 複数のスレッドからのスケジューリング要求に同時に応答するロックフリースケジューラを確立すること。
ロ スレッド間の計算負荷のバランスをとるための欲求アルゴリズムに基づく負荷分散戦略を導入すること。
c) モデル収束を加速する学習スキームにネステロフの加速勾配を組み込む。
実験的研究により、A2PSGDはHDSデータLRの既存の最適化アルゴリズムを精度とトレーニング時間の両方で上回っていることが示された。
関連論文リスト
- Asynchronous Stochastic Gradient Descent with Decoupled Backpropagation and Layer-Wise Updates [1.9241821314180372]
バックプロパゲーションの大きな欠点の1つは、アルゴリズムの前方フェーズと後方フェーズの間のインターロックである。
本稿では,複数のスレッドから非同期に更新することで,モデルのレイヤ間でSGD更新を並列化する手法を提案する。
このアプローチは、Hongwild!よりも最大2.97倍高速で複数のデバイスでスケールしながら、最先端の結果に近い結果が得られることを示す。
論文 参考訳（メタデータ） (2024-10-08T12:32:36Z) - An Adaptive Latent Factorization of Tensors Model for Embedding Dynamic Communication Network [15.577058568902272]
Dynamic Communication Network (DCN) は、様々な通信ノード間の時間的相互作用を記述する。
本稿では,適応時間依存型低ランク表現モデル(ATT)を提案する。
実世界のDCN4つの実験結果から,提案したATTモデルは予測誤差と収束ラウンドの両方において,最先端のモデルを著しく上回っていることが示された。
論文 参考訳（メタデータ） (2024-08-29T14:40:32Z) - Distributed Stochastic Gradient Descent with Staleness: A Stochastic Delay Differential Equation Based Framework [56.82432591933544]
分散勾配降下(SGD)は、計算リソースのスケーリング、トレーニング時間の短縮、マシンラーニングにおけるユーザのプライバシ保護の支援などにより、近年注目されている。
本稿では,遅延微分方程式(SDDE)と勾配到着の近似に基づく分散SGDの実行時間と安定化について述べる。
活性化作業員の増加は, 安定度による分散SGDを必ずしも加速させるものではないことが興味深い。
論文 参考訳（メタデータ） (2024-06-17T02:56:55Z) - Robust Fully-Asynchronous Methods for Distributed Training over General Architecture [11.480605289411807]
分散機械学習問題における完全な同期は、レイテンシ、パッケージの損失、ストラグラーの存在のため、非効率であり、不可能である。
本稿では,R-FAST (Fully-Asynchronous Gradient Tracking Method) を提案する。
論文 参考訳（メタデータ） (2023-07-21T14:36:40Z) - Decoupling and Recoupling Spatiotemporal Representation for RGB-D-based
Motion Recognition [62.46544616232238]
従来の動作認識手法は、密結合した多時間表現によって有望な性能を実現している。
本稿では,RGB-D に基づく動作認識において引き起こされた表現を分離し,再分離することを提案する。
論文 参考訳（メタデータ） (2021-12-16T18:59:47Z) - Distributed stochastic optimization with large delays [59.95552973784946]
大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。
DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
論文 参考訳（メタデータ） (2021-07-06T21:59:49Z) - Spatial-Spectral Clustering with Anchor Graph for Hyperspectral Image [88.60285937702304]
本稿では、HSIデータクラスタリングのための空間スペクトルクラスタリングとアンカーグラフ(SSCAG)という新しい非監視アプローチを提案する。
提案されたSSCAGは最先端のアプローチと競合する。
論文 参考訳（メタデータ） (2021-04-24T08:09:27Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳（メタデータ） (2021-01-12T20:08:18Z) - DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic
Convolution [136.7261709896713]
本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。
提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。
また、現在の最先端よりも推論速度を25%以上向上させる。
論文 参考訳（メタデータ） (2020-11-26T14:56:57Z) - HPSGD: Hierarchical Parallel SGD With Stale Gradients Featuring [18.8426865970643]
ディープニューラルネットワーク(DNN)の分散トレーニングプロセスを促進するために,新しい階層型並列SGD(HPSGD)戦略を提案する。
提案手法が分散DNNトレーニングを大幅に促進し, 定常勾配の乱れを低減し, 固定壁面の精度を向上することを示す実験を行った。
論文 参考訳（メタデータ） (2020-09-06T10:17:56Z) - DaSGD: Squeezing SGD Parallelization Performance in Distributed Training
Using Delayed Averaging [4.652668321425679]
ミニバッチ勾配降下(SGD)アルゴリズムでは、作業者は前方/後方の伝搬を停止する必要がある。
DaSGDはSGDとフォワード/バックの伝搬を並列化し、通信オーバーヘッドの100%を隠蔽する。
論文 参考訳（メタデータ） (2020-05-31T05:43:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。