論文の概要: DistIR: An Intermediate Representation and Simulator for Efficient Neural Network Distribution

• arxiv url: http://arxiv.org/abs/2111.05426v1
• Date: Tue, 9 Nov 2021 21:32:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-12 01:09:12.491859
• Title: DistIR: An Intermediate Representation and Simulator for Efficient Neural Network Distribution
• Title（参考訳）: DistIR: 効率的なニューラルネットワーク配信のための中間表現とシミュレータ
• Authors: Keshav Santhanam, Siddharth Krishna, Ryota Tomioka, Tim Harris, Matei Zaharia
• Abstract要約: DistIRは分散計算のための表現であり、効率的な解析のために調整されている。 本研究では、DistIRとそのシミュレータが1000以上の構成にまたがる複雑な分散空間を高速にグリッドで探索する方法を示す。
• 参考スコア（独自算出の注目度）: 15.086401550425125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapidly growing size of deep neural network (DNN) models and datasets has given rise to a variety of distribution strategies such as data, tensor-model, pipeline parallelism, and hybrid combinations thereof. Each of these strategies offers its own trade-offs and exhibits optimal performance across different models and hardware topologies. Selecting the best set of strategies for a given setup is challenging because the search space grows combinatorially, and debugging and testing on clusters is expensive. In this work we propose DistIR, an expressive intermediate representation for distributed DNN computation that is tailored for efficient analyses, such as simulation. This enables automatically identifying the top-performing strategies without having to execute on physical hardware. Unlike prior work, DistIR can naturally express many distribution strategies including pipeline parallelism with arbitrary schedules. Our evaluation on MLP training and GPT-2 inference models demonstrates how DistIR and its simulator enable fast grid searches over complex distribution spaces spanning up to 1000+ configurations, reducing optimization time by an order of magnitude for certain regimes.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)モデルとデータセットの急速なサイズ拡大により、データ、テンソルモデル、パイプライン並列性、ハイブリッドの組み合わせなど、さまざまな分散戦略が生まれている。 これらの戦略はそれぞれ独自のトレードオフを提供し、異なるモデルとハードウェアトポロジで最適なパフォーマンスを示す。 検索スペースがコンビネータ的に拡大し、クラスタ上でデバッグやテストを行うのにコストがかかるため、所定のセットアップのための最適な戦略を選択することは難しい。 本研究では,分散DNN計算のための表現型中間表現であるDistIRを提案する。 これにより、物理ハードウェア上で実行することなく、トップパフォーマンス戦略を自動的に識別できる。 以前の作業とは異なり、distirは任意のスケジュールでパイプライン並列性を含む多くの分散戦略を自然に表現できる。 我々は,mlpトレーニングとgpt-2推論モデルの評価から,distirとそのシミュレータが1000以上の構成の複雑な分散空間上で高速グリッド検索を実現することを示し,特定のレジームに対して最適化時間を1桁削減した。

関連論文リスト

• Partitioned Neural Network Training via Synthetic Intermediate Labels [0.0]
  GPUメモリの制約は、そのような巨大なモデルをトレーニングする上で、注目すべきボトルネックになっている。 この研究は、モデルをGPU間で分割し、個々のセグメントをトレーニングするために合成中間ラベルを生成することを提唱する。 このアプローチは、モデル精度を維持しながらデータ通信を最小限に抑える、より効率的なトレーニングプロセスをもたらす。
  論文  参考訳（メタデータ） (2024-03-17T13:06:29Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• TAP: Accelerating Large-Scale DNN Training Through Tensor Automatic Parallelisation [19.009600866053923]
  本稿では,最適なデータとテンソル並列スケジュールを自動的に検索するモデル並列化フレームワークTAPを提案する。 実験によると、TAPは最先端の自動並列処理フレームワークよりも20ドルから160ドル高速である。
  論文  参考訳（メタデータ） (2023-02-01T05:22:28Z)
• Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks [58.720142291102135]
  大規模な機械学習モデルは、幅広い分野に進歩をもたらしている。 これらのモデルの多くは、単一のマシンでトレーニングするには大きすぎるため、複数のデバイスに分散する必要がある。 スループットやブロッキングレートといったユーザクリティカルな指標に対して,並列化の最大化が準最適であることを示す。
  論文  参考訳（メタデータ） (2023-01-31T17:41:07Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Complexity-Driven CNN Compression for Resource-constrained Edge AI [1.6114012813668934]
  本稿では,CNNの層レベルでの複雑さを生かして,新しい,計算効率の高いプルーニングパイプラインを提案する。 パラメータ認識(PA)、FLOP認識(FA)、メモリ認識(MA)の3つのモードを定義し、CNNの汎用圧縮を導入する。
  論文  参考訳（メタデータ） (2022-08-26T16:01:23Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• DBS: Dynamic Batch Size For Distributed Deep Neural Network Training [19.766163856388694]
  ディープニューラルネットワーク(DNN)の分散学習のための動的バッチサイズ(DBS)戦略を提案する。 具体的には、前のエポックの事実に基づいて各ワーカーのパフォーマンスを第一に評価し、バッチサイズとデータセット分割を動的に調整する。 実験結果から,提案手法はクラスタの性能を十分に活用し,トレーニング時間を短縮し,無関係なタスクによる障害に強いロバスト性を有することを示す。
  論文  参考訳（メタデータ） (2020-07-23T07:31:55Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• TensorOpt: Exploring the Tradeoffs in Distributed DNN Training with Auto-Parallelism [21.980316675614787]
  優れた並列化戦略は、ディープニューラルネットワーク(DNN)の分散トレーニングの効率を大幅に改善したり、コストを削減したりすることができる。 我々は,異なる目的間のトレードオフを可能にするために,並列化戦略の最適セットを探索する効率的なアルゴリズムFTを提案する。 我々はまた,ユーザが並列化戦略の詳細を気にすることなく分散DNNトレーニングジョブを実行できる,ユーザフレンドリーなシステムであるOptを開発した。
  論文  参考訳（メタデータ） (2020-04-16T02:57:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。