論文の概要: torchgpipe: On-the-fly Pipeline Parallelism for Training Giant Models

• arxiv url: http://arxiv.org/abs/2004.09910v1
• Date: Tue, 21 Apr 2020 11:27:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-11 07:53:25.184260
• Title: torchgpipe: On-the-fly Pipeline Parallelism for Training Giant Models
• Title（参考訳）: Torchgpipe:巨大モデルのトレーニングのためのオンザフライパイプライン並列性
• Authors: Chiheon Kim, Heungsub Lee, Myungryong Jeong, Woonhyuk Baek, Boogeon Yoon, Ildoo Kim, Sungbin Lim, Sungwoong Kim
• Abstract要約: 我々は,GPipe によるチェックポインティングによるマイクロバッチパイプライン並列化を実現するために,PyTorch で用意されたライブラリを設計,実装した。 このような環境下でパイプライン並列性を完全に活用するには各コンポーネントが必要であることを示し、ライブラリの効率性を実証する。
• 参考スコア（独自算出の注目度）: 19.024035785367044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We design and implement a ready-to-use library in PyTorch for performing micro-batch pipeline parallelism with checkpointing proposed by GPipe (Huang et al., 2019). In particular, we develop a set of design components to enable pipeline-parallel gradient computation in PyTorch's define-by-run and eager execution environment. We show that each component is necessary to fully benefit from pipeline parallelism in such environment, and demonstrate the efficiency of the library by applying it to various network architectures including AmoebaNet-D and U-Net. Our library is available at https://github.com/kakaobrain/torchgpipe .
• Abstract（参考訳）: 我々は,GPipe (Huang et al., 2019) によるチェックポインティングによるマイクロバッチパイプライン並列化を実現するために,PyTorch で利用可能なライブラリを設計,実装した。 特に,pytorch の definition-by-run および eager 実行環境でパイプライン並列勾配計算を可能にする設計コンポーネント群を開発した。 このような環境下でパイプライン並列化を十分に活用するには各コンポーネントが必要であることを示すとともに,AmoebaNet-D や U-Net など様々なネットワークアーキテクチャに適用することで,ライブラリの効率性を実証する。 私たちのライブラリはhttps://github.com/kakaobrain/torchgpipeで利用可能です。

関連論文リスト

• Scaling Deep Learning Training with MPMD Pipeline Parallelism [0.5817641705019472]
  JaxPPは、柔軟なパイプライン並列性を備えた大規模ディープラーニングモデルのトレーニングを効率的にスケールアップするシステムである。 我々は,勾配蓄積のためのユーザ定義パイプラインスケジュールの実装を可能にする,シームレスなプログラミングモデルを導入する。 JaxPPは、パイプラインステージに対応するタスクをノードのクラスタ上に分散し、それら間の通信を自動的に推論する。
  論文  参考訳（メタデータ） (2024-12-18T22:15:11Z)
• Pipeline Parallelism with Controllable Memory [6.135123843073223]
  既存のパイプラインスケジュールのほとんどすべてがメモリ非効率であることが示されています。 制御可能なアクティベーションメモリを備えた,メモリ効率の良いビルディングブロック群を紹介する。 1F1Bと同じアクティベーションメモリを維持しながら、ほぼゼロのパイプラインバブルを実現することができる。
  論文  参考訳（メタデータ） (2024-05-24T08:54:36Z)
• torchgfn: A PyTorch GFlowNet library [56.071033896777784]
  torchgfnはPyTorchライブラリで、このニーズに対処することを目指している。 環境のためのシンプルなAPIと、サンプルと損失のための有用な抽象化を提供する。
  論文  参考訳（メタデータ） (2023-05-24T00:20:59Z)
• Deep Pipeline Embeddings for AutoML [11.168121941015015]
  AutoMLは、最小限の人間の専門知識で機械学習システムを自動デプロイすることで、AIを民主化するための有望な方向である。 既存のパイプライン最適化テクニックでは、パイプラインステージ/コンポーネント間の深いインタラクションを探索できない。 本稿では,機械学習パイプラインのコンポーネント間のディープインタラクションをキャプチャするニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-05-23T12:40:38Z)
• Pipeline MoE: A Flexible MoE Implementation with Pipeline Parallelism [91.9372563527801]
  既存のMoEモデルは、膨大な内部ノードとノード間通信オーバーヘッドに悩まされる。 本稿では,新しいMoEアーキテクチャであるPipeline MoE(PPMoE)を提案する。 PPMoEは、テンソル並列を組み込んだ専門家の並列処理を構築し、通信集約型の全対一のディスパッチとコレクションを置き換える。
  論文  参考訳（メタデータ） (2023-04-22T14:09:14Z)
• Trieste: Efficiently Exploring The Depths of Black-box Functions with TensorFlow [50.691232400959656]
  Triesteは、ベイジアン最適化とアクティブラーニングのためのオープンソースのPythonパッケージである。 我々のライブラリは、シーケンシャルな意思決定ループ内で人気のあるモデルのプラグアンドプレイを可能にする。
  論文  参考訳（メタデータ） (2023-02-16T17:21:49Z)
• Continual Inference: A Library for Efficient Online Inference with Deep Neural Networks in PyTorch [97.03321382630975]
  Continual Inferenceは、PyTorchでContinuous Inference Networks(CIN)を実装するPythonライブラリである。 我々は、CINとその実装を包括的に紹介し、現代のディープラーニングのための複雑なモジュールを構成するためのベストプラクティスとコード例を提供します。
  論文  参考訳（メタデータ） (2022-04-07T13:03:09Z)
• TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale Language Models [60.23234205219347]
  TeraPipeは、Transformerベースの言語モデルの同期モデル並列トレーニングのための高性能トークンレベルのパイプライン並列アルゴリズムです。 TeraPipeは、AWSクラスタ上で1750億のパラメータを持つ最大のGPT-3モデルのトレーニングを5.0倍高速化できることを示す。
  論文  参考訳（メタデータ） (2021-02-16T07:34:32Z)
• Fully Convolutional Networks for Panoptic Segmentation [91.84686839549488]
  そこで我々は,Panoptic FCNという概念的,シンプルで,強力で,効率的なパノプティックセグメンテーションフレームワークを提案する。 我々のアプローチは、統一された完全な畳み込みパイプラインにおいて、前景や背景を表現し、予測することを目的としています。 Panoptic FCNは、提案されたカーネルジェネレータで、各オブジェクトインスタンスまたは物カテゴリを特定のカーネル重みにエンコードする。
  論文  参考訳（メタデータ） (2020-12-01T18:31:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。