論文の概要: Towards Quantized Model Parallelism for Graph-Augmented MLPs Based on
Gradient-Free ADMM framework
- arxiv url: http://arxiv.org/abs/2105.09837v1
- Date: Thu, 20 May 2021 15:37:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-21 13:23:04.535124
- Title: Towards Quantized Model Parallelism for Graph-Augmented MLPs Based on
Gradient-Free ADMM framework
- Title(参考訳): グラディエントフリーADMMフレームワークに基づくグラフ拡張MLPの量子モデル並列化に向けて
- Authors: Junxiang Wang, Hongyi Li, Zheng Chai, Yongchao Wang, Yue Cheng and
Liang Zhao
- Abstract要約: Graph Augmented Multi-layer Perceptron(GA-MLP)モデルはグラフニューラルネットワーク(GNN)の魅力的な代替品である
これは、過度に滑らかな問題に耐性があり、より深いGA-MLPモデルによりより良い性能が得られるためである。
本稿では,モデル並列化を実現するために,深層学習によるマルチプライヤの代替指向法(pdADMM)を提案する。
- 参考スコア(独自算出の注目度): 22.5155416051303
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Graph Augmented Multi-layer Perceptron (GA-MLP) model is an attractive
alternative to Graph Neural Networks (GNNs). This is because it is resistant to
the over-smoothing problem, and deeper GA-MLP models yield better performance.
GA-MLP models are traditionally optimized by the Stochastic Gradient Descent
(SGD). However, SGD suffers from the layer dependency problem, which prevents
the gradients of different layers of GA-MLP models from being calculated in
parallel. In this paper, we propose a parallel deep learning Alternating
Direction Method of Multipliers (pdADMM) framework to achieve model
parallelism: parameters in each layer of GA-MLP models can be updated in
parallel. The extended pdADMM-Q algorithm reduces communication cost by
utilizing the quantization technique. Theoretical convergence to a critical
point of the pdADMM algorithm and the pdADMM-Q algorithm is provided with a
sublinear convergence rate $o(1/k)$. Extensive experiments in six benchmark
datasets demonstrate that the pdADMM can lead to high speedup, and outperforms
all the existing state-of-the-art comparison methods.
- Abstract(参考訳): Graph Augmented Multi-layer Perceptron(GA-MLP)モデルは、グラフニューラルネットワーク(GNN)の魅力的な代替品である。
これはオーバースムーシング問題に耐性があり、より深いga-mlpモデルの方が優れた性能をもたらすためである。
GA-MLPモデルは伝統的にStochastic Gradient Descent (SGD)によって最適化されている。
しかし、SGDは層依存性の問題に悩まされ、GA-MLPモデルの異なる層の勾配が並列に計算されるのを防ぐ。
本稿では,GA-MLPモデルの各層におけるパラメータを並列に更新する,モデル並列化を実現するための並列ディープラーニング代替指向手法(pdADMM)を提案する。
拡張pdadmm-qアルゴリズムは、量子化技術を用いて通信コストを削減する。
pdADMMアルゴリズムとpdADMM-Qアルゴリズムの臨界点への理論的収束は、サブ線形収束率$o(1/k)$である。
6つのベンチマークデータセットの大規模な実験により、pdADMMは高速な高速化につながることが示され、既存の最先端比較手法よりも優れている。
関連論文リスト
- Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳(メタデータ) (2023-12-19T21:45:38Z) - Model-Based Reparameterization Policy Gradient Methods: Theory and
Practical Algorithms [88.74308282658133]
Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。
近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。
本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
論文 参考訳(メタデータ) (2023-10-30T18:43:21Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - From graphs to DAGs: a low-complexity model and a scalable algorithm [0.0]
本稿では,低ランク行列因数分解とDAGの連続的な最適化のためのスペース化機構を組み合わせたLoRAM for Low-Rank Additive Modelを提案する。
提案手法は,NoTearsと同じDAG特性関数を扱いながら,立方的複雑性から二次的複雑性への還元を実現する。
論文 参考訳(メタデータ) (2022-04-10T10:22:56Z) - A new perspective on probabilistic image modeling [92.89846887298852]
本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。
DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。
本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
論文 参考訳(メタデータ) (2022-03-21T14:53:57Z) - Mixed Policy Gradient: off-policy reinforcement learning driven jointly
by data and model [32.61834127169759]
強化学習(RL)はシーケンシャルな意思決定において大きな可能性を秘めている。
メインストリームのRLアルゴリズムはデータ駆動であり、通常、モデル駆動の手法に比べて性能は向上するが、収束は遅くなる。
本稿では,政策勾配(PG)における経験的データと遷移モデルを融合したMPGアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-23T06:05:17Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳(メタデータ) (2020-10-22T05:04:38Z) - An EM Approach to Non-autoregressive Conditional Sequence Generation [49.11858479436565]
自己回帰(AR)モデルは条件付きシーケンス生成において支配的なアプローチである。
非自己回帰(NAR)モデルは、最近、すべての出力トークンを並列に生成することでレイテンシを低減するために提案されている。
本稿では,ARモデルとNARモデルの両方を統合期待最大化フレームワークで協調的に最適化する手法を提案する。
論文 参考訳(メタデータ) (2020-06-29T20:58:57Z) - Multi-Fidelity High-Order Gaussian Processes for Physical Simulation [24.033468062984458]
高忠実度偏微分方程式(PDE)は低忠実度偏微分方程式よりも高価である。
複雑な相関関係を捉えることができるMFHoGP(Multi-Fidelity High-Order Gaussian Process)を提案する。
MFHoGPは、情報を融合するために基礎を伝播し、基礎重みよりも先に深い行列GPを配置する。
論文 参考訳(メタデータ) (2020-06-08T22:31:59Z) - Dual Stochastic Natural Gradient Descent and convergence of interior
half-space gradient approximations [0.0]
多項ロジスティック回帰(MLR)は統計学や機械学習で広く使われている。
勾配降下(SGD)は、ビッグデータシナリオにおけるMLRモデルのパラメータを決定する最も一般的な手法である。
論文 参考訳(メタデータ) (2020-01-19T00:53:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。