論文の概要: Pipeline Parallelism for DNN Inference with Practical Performance Guarantees

• arxiv url: http://arxiv.org/abs/2311.03703v1
• Date: Tue, 7 Nov 2023 03:55:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 17:04:32.396103
• Title: Pipeline Parallelism for DNN Inference with Practical Performance Guarantees
• Title（参考訳）: 実用性能保証を用いたDNN推論のためのパイプライン並列処理
• Authors: Aaron Archer, Matthew Fahrbach, Kuikui Liu, Prakash Prabhu
• Abstract要約: モデルグラフを$k$ステージに分割することは、通信を含むボトルネックステージの実行時間を最小化する。 これらのアルゴリズムと低バウンド法を生産モデルに適用し、近似保証を大幅に改善する。 この研究は、最大スループットのパーティショニングは理論上は難しいが、この問題のアルゴリズム側ではハンドラがあり、残りの課題の多くは、パーティショニングアルゴリズムに供給するより正確なコストモデルを開発することである。
• 参考スコア（独自算出の注目度）: 3.8165295526908234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We optimize pipeline parallelism for deep neural network (DNN) inference by partitioning model graphs into $k$ stages and minimizing the running time of the bottleneck stage, including communication. We design practical algorithms for this NP-hard problem and show that they are nearly optimal in practice by comparing against strong lower bounds obtained via novel mixed-integer programming (MIP) formulations. We apply these algorithms and lower-bound methods to production models to achieve substantially improved approximation guarantees compared to standard combinatorial lower bounds. For example, evaluated via geometric means across production data with $k=16$ pipeline stages, our MIP formulations more than double the lower bounds, improving the approximation ratio from $2.175$ to $1.058$. This work shows that while max-throughput partitioning is theoretically hard, we have a handle on the algorithmic side of the problem in practice and much of the remaining challenge is in developing more accurate cost models to feed into the partitioning algorithms.
• Abstract（参考訳）: モデルグラフを$k$ステージに分割し、通信を含むボトルネックステージの実行時間を最小限にすることで、ディープニューラルネットワーク(dnn)推論のためのパイプライン並列性を最適化する。 本稿では,np-hard問題に対する実用的アルゴリズムを設計し,mip(mixed-integer programming)により得られた強下界との比較により,実用的にほぼ最適であることを示す。 これらのアルゴリズムと下限法を生産モデルに適用し,標準組合せ下限と比較して近似保証を大幅に改善した。 例えば、k=16$パイプラインステージを持つ生産データ全体の幾何学的手段によって評価されたmipは、下限を2倍以上に定式化し、近似比を2.175$から$1.058$に改善した。 この研究は、max-throughputパーティショニングは理論的には難しいが、実際、問題のアルゴリズム的な側面を扱っていることを示し、残りの課題の多くは、パーティショニングアルゴリズムにフィードするより正確なコストモデルを開発することである。

関連論文リスト

• Learning Infinite-Horizon Average-Reward Linear Mixture MDPs of Bounded Span [16.49229317664822]
  本稿では,無限水平平均逆線形混合マルコフ決定過程(MDPs)を学習するための計算抽出可能なアルゴリズムを提案する。 線形混合MDPのアルゴリズムは,$widetildemathcalO(dsqrtmathrmsp(v*)T)$$$T$以上の最小限の後悔上限を実現する。
  論文  参考訳（メタデータ） (2024-10-19T05:45:50Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• Best Policy Identification in Linear MDPs [70.57916977441262]
  縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。 複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
  論文  参考訳（メタデータ） (2022-08-11T04:12:50Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• A Stochastic Bundle Method for Interpolating Networks [18.313879914379008]
  本稿では,実験的な損失をゼロにすることができるディープニューラルネットワークのトレーニング手法を提案する。 各イテレーションにおいて,本手法は目的学習近似のバンドルとして知られる最大線形近似を構成する。
  論文  参考訳（メタデータ） (2022-01-29T23:02:30Z)
• High-Dimensional Experimental Design and Kernel Bandits [9.401375475860561]
  最適な線形実験設計の手法を利用して、線形バンディットの最先端の結果を得ています。 G$-optimal designのような目的から返される設計は、実際に潜在的な測定ベクトルのプール上の確率分布である。 我々は、次元 $d$ に対する任意の依存から$n$ を解放する丸め手順を提案する。
  論文  参考訳（メタデータ） (2021-05-12T17:10:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。