論文の概要: The Streaming Batch Model for Efficient and Fault-Tolerant Heterogeneous Execution

• arxiv url: http://arxiv.org/abs/2501.12407v2
• Date: Thu, 23 Jan 2025 04:07:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:55:34.430186
• Title: The Streaming Batch Model for Efficient and Fault-Tolerant Heterogeneous Execution
• Title（参考訳）: 効率・耐故障性不均一な実行のためのストリーミングバッチモデル
• Authors: Frank Sifei Luan, Ziming Mao, Ron Yifeng Wang, Charlotte Lin, Amog Kamsetty, Hao Chen, Cheng Su, Balaji Veeramani, Scott Lee, SangBin Cho, Clark Zinzow, Eric Liang, Ion Stoica, Stephanie Wang,
• Abstract要約: 本稿では, 効率的かつフォールトトレラントなヘテロジニアス実行を可能にする2つのモデルのハイブリッドであるストリーミングバッチモデルを紹介する。 我々は、従来のバッチ処理やストリーム処理システムと比較して、異種バッチ推論パイプラインのスループットを3～8$timesで改善するストリーミングバッチモデルの実装であるRay Dataを紹介する。
• 参考スコア（独自算出の注目度）: 20.926218346718482
• License:
• Abstract: While ML model training and inference are both GPU-intensive, CPU-based data processing is often the bottleneck. Distributed data processing systems based on the batch or stream processing models assume homogeneous resource requirements. They excel at CPU-based computation but either under-utilize heterogeneous resources or impose high overheads on failure and reconfiguration. We introduce the streaming batch model, a hybrid of the two models that enables efficient and fault-tolerant heterogeneous execution. The key idea is to execute one partition at a time to allow lineage-based recovery with dynamic resource allocation. This enables memory-efficient pipelining across heterogeneous resources, similar to stream processing, but also offers the elasticity and fault tolerance properties of batch processing. We present Ray Data, an implementation of the streaming batch model that improves throughput on heterogeneous batch inference pipelines by 3--8$\times$ compared to traditional batch and stream processing systems. When training Stable Diffusion, Ray Data matches the throughput of single-node ML data loaders while additionally leveraging distributed heterogeneous clusters to further improve training throughput by 31%.
• Abstract（参考訳）: MLモデルのトレーニングと推論はGPU集約型だが、CPUベースのデータ処理がボトルネックになることが多い。 バッチまたはストリーム処理モデルに基づく分散データ処理システムは、均質なリソース要求を前提としている。 CPUベースの計算では優れているが、不均一なリソースを過小評価するか、障害や再設定に高いオーバーヘッドを課す。 本稿では, 効率的かつフォールトトレラントなヘテロジニアス実行を可能にする2つのモデルのハイブリッドであるストリーミングバッチモデルを紹介する。 鍵となる考え方は、動的リソース割り当てによる系統ベースのリカバリを可能にするために、一度に1つのパーティションを実行することである。 これにより、ストリーム処理と同様に、異種リソースをまたいだメモリ効率の高いパイプライン化が可能になり、バッチ処理の弾力性と耐障害性も提供する。 我々は、従来のバッチ処理やストリーム処理システムと比較して、異種バッチ推論パイプラインのスループットを3～8$\times$で向上するストリーミングバッチモデルの実装であるRay Dataを紹介する。 安定した拡散のトレーニングでは、Ray Dataは単一ノードのMLデータローダのスループットにマッチすると同時に、分散異種クラスタを活用してトレーニングスループットを31%向上させる。

関連論文リスト

• HybridFlow: A Flexible and Efficient RLHF Framework [13.80577212781375]
  人間のフィードバックからの強化学習は、Large Language Model (LLM)アライメントで広く使われている。 従来のRLはデータフローとしてモデル化することができ、各ノードはニューラルネットワーク(NN)の計算を表す。 RLHFデータフローの柔軟な表現と効率的な実行を可能にするために,シングルコントローラとマルチコントローラのパラダイムをハイブリッド方式で組み合わせたHybridFlowを提案する。
  論文  参考訳（メタデータ） (2024-09-28T06:20:03Z)
• A Distribution-Aware Flow-Matching for Generating Unstructured Data for Few-Shot Reinforcement Learning [1.0709300917082865]
  組込みプロセッサ上の数ショット強化学習(RL)に適した合成非構造化データを生成するために設計された分散型フローマッチングを提案する。 我々はランダムフォレストを通した特徴重み付けを重要データ面の優先順位付けに適用し,生成した合成データの精度を向上させる。 本手法は,最初期の第1タイムスタンプにおいて,フレームレートを30%向上しながら,最大Q値に基づく安定収束を提供する。
  論文  参考訳（メタデータ） (2024-09-21T15:50:59Z)
• High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates [50.406127962933915]
  我々はコミュニケーション効率のよい分散ロジスティック回帰モデルを学ぶことができる問題に対する解決策を開発する。 実験では、いくつかの分散更新ステップだけで、分散アルゴリズムよりも精度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-07-08T19:34:39Z)
• Efficient Parallel Reinforcement Learning Framework using the Reactor Model [2.190190313041532]
  強化学習(RL)フレームワークは、RLワークロードを複数の計算リソースにマッピングするために不可欠である。 Rayのような既存のフレームワークは、このオーケストレーションを効率的に管理していない。 我々は,アクターの集合が固定的な通信パターンを持つように強制するリアクターモデルを実装するソリューションを提案している。
  論文  参考訳（メタデータ） (2023-12-07T21:19:57Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• Taming Resource Heterogeneity In Distributed ML Training With Dynamic Batching [1.047192732651018]
  分散モデルトレーニングの現在の技術は、クラスタが一定のリソース可用性を持つサーバで構成されていることを主に前提としている。 本研究では、分散データ並列学習のための動的手法を開発し、各作業者のミニバッチサイズを可用性とスループットに基づいて調整する。
  論文  参考訳（メタデータ） (2023-05-20T15:33:06Z)
• Dual Generator Offline Reinforcement Learning [90.05278061564198]
  オフラインのRLでは、学習したポリシーをデータに近づき続けることが不可欠である。 実際には、GANベースのオフラインRL法は代替手法と同様に実行されていない。 2つのジェネレータを持つことにより、有効なGANベースのオフラインRL法が実現されるだけでなく、サポート制約を近似することも示している。
  論文  参考訳（メタデータ） (2022-11-02T20:25:18Z)
• Drone Referring Localization: An Efficient Heterogeneous Spatial Feature Interaction Method For UAV Self-Localization [22.94589565476653]
  我々は、Drone Referring Localization(DRL)と呼ばれる、効率的な異種空間特徴相互作用法を提案する。 異なるデータソースを分離して扱う従来の方法とは異なり、DRLは異種特徴の学習可能な相互作用を促進する。 従来のIR法と比較して、DRLはより優れたローカライズ精度(MA@20 + 9.4%)を実現し、計算時間(1/7)とストレージオーバーヘッド(2/3)を大幅に削減した。
  論文  参考訳（メタデータ） (2022-08-13T03:25:50Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA [58.040931661693925]
  冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。 最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。 我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
  論文  参考訳（メタデータ） (2020-08-26T07:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。