論文の概要: BigDL 2.0: Seamless Scaling of AI Pipelines from Laptops to Distributed Cluster

• arxiv url: http://arxiv.org/abs/2204.01715v1
• Date: Sun, 3 Apr 2022 01:27:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-07 04:42:14.396871
• Title: BigDL 2.0: Seamless Scaling of AI Pipelines from Laptops to Distributed Cluster
• Title（参考訳）: BigDL 2.0:ラプテストから分散クラスタへのAIパイプラインのシームレススケーリング
• Authors: Jason Dai, Ding Ding, Dongjie Shi, Shengsheng Huang, Jiao Wang, Xin Qiu, Kai Huang, Guoqiong Song, Yang Wang, Qiyuan Gong, Jiaming Song, Shan Yu, Le Zheng, Yina Chen, Junwei Deng, Ge Song
• Abstract要約: 私たちはApache 2.0ライセンスでBigDL 2.0をオープンソース化しました(オリジナルのBigDLとAnalytics Zooプロジェクトを組み合わせたものです)。 ユーザはラップトップ上で従来のPythonノートブックを構築すれば、単一のノード上で透過的にアクセラレーションを行うことができる。 BigDL 2.0は、実世界の多くのユーザ(Mastercard、Burger King、Inspurなど)にすでに採用されています。
• 参考スコア（独自算出の注目度）: 33.00865276627537
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Most AI projects start with a Python notebook running on a single laptop; however, one usually needs to go through a mountain of pains to scale it to handle larger dataset (for both experimentation and production deployment). These usually entail many manual and error-prone steps for the data scientists to fully take advantage of the available hardware resources (e.g., SIMD instructions, multi-processing, quantization, memory allocation optimization, data partitioning, distributed computing, etc.). To address this challenge, we have open sourced BigDL 2.0 at https://github.com/intel-analytics/BigDL/ under Apache 2.0 license (combining the original BigDL and Analytics Zoo projects); using BigDL 2.0, users can simply build conventional Python notebooks on their laptops (with possible AutoML support), which can then be transparently accelerated on a single node (with up-to 9.6x speedup in our experiments), and seamlessly scaled out to a large cluster (across several hundreds servers in real-world use cases). BigDL 2.0 has already been adopted by many real-world users (such as Mastercard, Burger King, Inspur, etc.) in production.
• Abstract（参考訳）: ほとんどのAIプロジェクトは、単一のラップトップ上で動作するPythonノートブックから始まるが、大規模なデータセット(実験と運用デプロイメントの両方)を扱うためには、通常、山ほどの苦労を経る必要がある。 これらは通常、データサイエンティストが利用可能なハードウェアリソース(SIMD命令、マルチプロセッシング、量子化、メモリ割り当て最適化、データパーティショニング、分散コンピューティングなど)を十分に活用するために、多くの手動およびエラーが発生します。 To address this challenge, we have open sourced BigDL 2.0 at https://github.com/intel-analytics/BigDL/ under Apache 2.0 license (combining the original BigDL and Analytics Zoo projects); using BigDL 2.0, users can simply build conventional Python notebooks on their laptops (with possible AutoML support), which can then be transparently accelerated on a single node (with up-to 9.6x speedup in our experiments), and seamlessly scaled out to a large cluster (across several hundreds servers in real-world use cases). BigDL 2.0は、実世界の多くのユーザ(Mastercard、Burger King、Inspurなど)にすでに採用されています。

関連論文リスト

• SpecExec: Massively Parallel Speculative Decoding for Interactive LLM Inference on Consumer Devices [18.81344021150902]
  SpecExecは単純な並列デコード方式で、LLMファミリ向けのターゲットモデルイテレーション毎に最大20個のトークンを生成することができる。 我々は,RAMオフロードが4～6トークン/秒,量子化が4ビット,あるいは16ビット重みが2～3トークン/秒の一般GPU上で50B以上のパラメータLLMを推定した。
  論文  参考訳（メタデータ） (2024-06-04T17:53:36Z)
• Scalable MatMul-free Language Modeling [8.672867887354977]
  MatMul操作は大規模言語モデルから完全に除去可能であることを示す。 提案するMatMulフリーモデルは,最先端のトランスフォーマーと同等の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-04T17:50:34Z)
• Distributed Inference and Fine-tuning of Large Language Models Over The Internet [91.00270820533272]
  大規模言語モデル(LLM)は、多くのNLPタスクで有用であり、サイズが向上する。 これらのモデルはハイエンドのハードウェアを必要とするため、ほとんどの研究者にはアクセスできない。 本研究では,システムスループットの最大化のためにデバイスを自動的に割り当てるフォールトトレラント推論アルゴリズムとロードバランシングプロトコルを開発する。
  論文  参考訳（メタデータ） (2023-12-13T18:52:49Z)
• XLB: A differentiable massively parallel lattice Boltzmann library in Python [0.0]
  JAX プラットフォームをベースとした Python ベースの差別化可能な LBM ライブラリである XLB ライブラリを紹介する。 XLBの差別化性とデータ構造は、広範囲にわたるJAXベースの機械学習エコシステムと互換性がある。 XLBは数十億のセルでのシミュレーション処理に成功し、毎秒ギガスケールの格子更新を実現している。
  論文  参考訳（メタデータ） (2023-11-27T18:50:37Z)
• Towards Memory-Efficient Training for Extremely Large Output Spaces -- Learning with 500k Labels on a Single Commodity GPU [2.3224617218247134]
  巨大な出力空間(数百万ラベルまで)の分類問題では、最後の層は膨大な量のメモリを必要とする。 スパース接続を使用することで、メモリ要求が大幅に削減されるが、モデルの性能が大幅に低下する可能性がある。 提案手法は,わずか4GBのGPU上で670,000ラベルのデータセットにスケール可能であることを示す。
  論文  参考訳（メタデータ） (2023-06-06T14:44:52Z)
• Petals: Collaborative Inference and Fine-tuning of Large Models [78.37798144357977]
  多くのNLPタスクは、1000億以上のパラメータを持つ大きな言語モデル(LLM)を使用することで恩恵を受ける。 BLOOM-176BとOPT-175Bのリリースにより、誰もがこのスケールで事前訓練されたモデルをダウンロードできる。 我々は,大規模モデルの推測と微調整を協調的に行うシステムとして,Petals $-$を提案する。
  論文  参考訳（メタデータ） (2022-09-02T17:38:03Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)
• DADApy: Distance-based Analysis of DAta-manifolds in Python [51.37841707191944]
  DADApyは、高次元データの分析と特徴付けのためのピソンソフトウェアパッケージである。 固有次元と確率密度を推定し、密度に基づくクラスタリングを行い、異なる距離メトリクスを比較する方法を提供する。
  論文  参考訳（メタデータ） (2022-05-04T08:41:59Z)
• PLSSVM: A (multi-)GPGPU-accelerated Least Squares Support Vector Machine [68.8204255655161]
  Support Vector Machines (SVM) は機械学習で広く使われている。 しかし、現代的で最適化された実装でさえ、最先端ハードウェア上の大きな非自明な高密度データセットにはうまくスケールしない。 PLSSVMはLVMのドロップイン代替として使用できる。
  論文  参考訳（メタデータ） (2022-02-25T13:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。