論文の概要: Towards a Better Theoretical Understanding of Independent Subnetwork Training

• arxiv url: http://arxiv.org/abs/2306.16484v1
• Date: Wed, 28 Jun 2023 18:14:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 15:54:47.340865
• Title: Towards a Better Theoretical Understanding of Independent Subnetwork Training
• Title（参考訳）: 独立したサブネットトレーニングの理論的理解に向けて
• Authors: Egor Shulgin and Peter Richt\'arik
• Abstract要約: 独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
• 参考スコア（独自算出の注目度）: 2.2147691173934967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern advancements in large-scale machine learning would be impossible without the paradigm of data-parallel distributed computing. Since distributed computing with large-scale models imparts excessive pressure on communication channels, significant recent research has been directed toward co-designing communication compression strategies and training algorithms with the goal of reducing communication costs. While pure data parallelism allows better data scaling, it suffers from poor model scaling properties. Indeed, compute nodes are severely limited by memory constraints, preventing further increases in model size. For this reason, the latest achievements in training giant neural network models also rely on some form of model parallelism. In this work, we take a closer theoretical look at Independent Subnetwork Training (IST), which is a recently proposed and highly effective technique for solving the aforementioned problems. We identify fundamental differences between IST and alternative approaches, such as distributed methods with compressed communication, and provide a precise analysis of its optimization performance on a quadratic model.
• Abstract（参考訳）: 大規模機械学習の最近の進歩は、データ並列分散コンピューティングのパラダイムなしでは不可能だろう。 大規模モデルを用いた分散コンピューティングは通信チャネルに過度な圧力を与えるため、通信コスト削減を目的とした通信圧縮戦略と訓練アルゴリズムの協調設計に向けた重要な研究が進められている。 純粋なデータ並列処理はデータスケーリングを向上しますが、モデルスケーリング特性の貧弱さに悩まされます。 実際、計算ノードはメモリ制約によって著しく制限され、モデルサイズがさらに大きくなるのを防ぐ。 このため、巨大ニューラルネットワークモデルのトレーニングにおける最新の成果も、ある種のモデル並列性に依存している。 本稿では,先述の問題を解決するために最近提案されている,高度に効果的な手法である独立サブネットワークトレーニング(ist)について,より理論的に考察する。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを特定し,その最適化性能を2次モデル上で正確に解析する。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates [50.406127962933915]
  我々はコミュニケーション効率のよい分散ロジスティック回帰モデルを学ぶことができる問題に対する解決策を開発する。 実験では、いくつかの分散更新ステップだけで、分散アルゴリズムよりも精度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-07-08T19:34:39Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Partitioned Neural Network Training via Synthetic Intermediate Labels [0.0]
  GPUメモリの制約は、そのような巨大なモデルをトレーニングする上で、注目すべきボトルネックになっている。 この研究は、モデルをGPU間で分割し、個々のセグメントをトレーニングするために合成中間ラベルを生成することを提唱する。 このアプローチは、モデル精度を維持しながらデータ通信を最小限に抑える、より効率的なトレーニングプロセスをもたらす。
  論文  参考訳（メタデータ） (2024-03-17T13:06:29Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• Quantized Adaptive Subgradient Algorithms and Their Applications [39.103587572626026]
  本稿では、分散トレーニングのための量子化された複合ミラー降下適応次数 (QCMD adagrad) と量子化された正規化された2次平均適応次数 (QRDA adagrad) を提案する。 量子化勾配に基づく適応学習率行列を構築し、通信コスト、精度、モデル間隔のバランスをとる。
  論文  参考訳（メタデータ） (2022-08-11T04:04:03Z)
• Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees [115.08148491584997]
  本稿では,MASHA1 と MASHA2 の圧縮通信による変分不等式とサドル点問題の解法について理論的に検討した。 新しいアルゴリズムは双方向圧縮をサポートし、バッチの設定や、クライアントの部分的な参加を伴うフェデレーション学習のために修正することもできる。
  論文  参考訳（メタデータ） (2021-10-07T10:04:32Z)
• Decentralized Statistical Inference with Unrolled Graph Neural Networks [26.025935320024665]
  分散最適化アルゴリズムをグラフニューラルネットワーク(GNN)にアンロールする学習ベースフレームワークを提案する。 エンドツーエンドトレーニングによるリカバリエラーを最小限にすることで、この学習ベースのフレームワークは、モデルのミスマッチ問題を解決する。 コンバージェンス解析により,学習したモデルパラメータがコンバージェンスを加速し,リカバリエラーを広範囲に低減できることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-04T07:52:34Z)
• Deep Generative Models that Solve PDEs: Distributed Computing for Training Large Data-Free Models [25.33147292369218]
  科学機械学習(SciML)の最近の進歩は、複雑な偏微分方程式(PDE)を解く新しいニューラルネットワークアーキテクチャを訓練する可能性を開く。 本稿では、これらの大規模SciMLモデルをトレーニングする2つの課題を解決するために、データ並列分散ディープラーニングのためのソフトウェアフレームワークについて報告する。 私たちのフレームワークは、(a)プロセス数に依存しない損失整合性、(b)同期バッチ正規化、(c)分散高階最適化方法など、いくつかのアウトオブボックス機能を提供します。
  論文  参考訳（メタデータ） (2020-07-24T22:42:35Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。