論文の概要: BOLT: An Automated Deep Learning Framework for Training and Deploying
Large-Scale Search and Recommendation Models on Commodity CPU Hardware
- arxiv url: http://arxiv.org/abs/2303.17727v4
- Date: Tue, 12 Sep 2023 14:17:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 17:19:30.693610
- Title: BOLT: An Automated Deep Learning Framework for Training and Deploying
Large-Scale Search and Recommendation Models on Commodity CPU Hardware
- Title（参考訳）: BOLT:コモディティCPUハードウェア上での大規模検索とレコメンデーションモデルのトレーニングとデプロイのためのディープラーニングフレームワーク
- Authors: Nicholas Meisburger, Vihan Lakshman, Benito Geordie, Joshua Engels,
David Torres Ramos, Pratik Pranav, Benjamin Coleman, Benjamin Meisburger,
Shubh Gupta, Yashwanth Adunukota, Tharun Medini, Anshumali Shrivastava
- Abstract要約: BOLTは、標準CPUハードウェア上で大規模な検索とレコメンデーションモデルをトレーニングするための、疎いディープラーニングライブラリである。
製品レコメンデーションやテキスト分類,グラフニューラルネットワーク,パーソナライゼーションなど,さまざまな情報検索タスクにおいてBOLTを評価する。
- 参考スコア（独自算出の注目度）: 28.05159031634185
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Efficient large-scale neural network training and inference on commodity CPU
hardware is of immense practical significance in democratizing deep learning
(DL) capabilities. Presently, the process of training massive models consisting
of hundreds of millions to billions of parameters requires the extensive use of
specialized hardware accelerators, such as GPUs, which are only accessible to a
limited number of institutions with considerable financial resources. Moreover,
there is often an alarming carbon footprint associated with training and
deploying these models. In this paper, we take a step towards addressing these
challenges by introducing BOLT, a sparse deep learning library for training
large-scale search and recommendation models on standard CPU hardware. BOLT
provides a flexible, high-level API for constructing models that will be
familiar to users of existing popular DL frameworks. By automatically tuning
specialized hyperparameters, BOLT also abstracts away the algorithmic details
of sparse network training. We evaluate BOLT on a number of information
retrieval tasks including product recommendations, text classification, graph
neural networks, and personalization. We find that our proposed system achieves
competitive performance with state-of-the-art techniques at a fraction of the
cost and energy consumption and an order-of-magnitude faster inference time.
BOLT has also been successfully deployed by multiple businesses to address
critical problems, and we highlight one customer case study in the field of
e-commerce.
- Abstract（参考訳）: コモディティCPUハードウェア上での大規模なニューラルネットワークトレーニングと推論は、ディープラーニング(DL)機能を民主化する上で、極めて実践的な重要性を持つ。
現在、数十億から数十億のパラメータからなる大規模モデルをトレーニングするプロセスでは、GPUのような特別なハードウェアアクセラレータを広範囲に使用する必要がある。
さらに、これらのモデルのトレーニングとデプロイに関連するカーボンフットプリントが懸念されることが多い。
本稿では,標準的なCPUハードウェア上で大規模検索とレコメンデーションモデルをトレーニングする,疎いディープラーニングライブラリBOLTを導入することにより,これらの課題に対処する。
boltは、既存の人気のあるdlフレームワークのユーザになじみのあるモデルを構築するための、柔軟でハイレベルなapiを提供する。
特殊なハイパーパラメータを自動的にチューニングすることで、BOLTはスパースネットワークトレーニングのアルゴリズムの詳細を抽象化する。
製品レコメンデーションやテキスト分類,グラフニューラルネットワーク,パーソナライゼーションなど,さまざまな情報検索タスクにおいてBOLTを評価する。
提案システムは,コストとエネルギー消費のごく一部で最先端技術と競合する性能と,より高速な推定時間を実現する。
BOLTはまた、重要な問題に対処するために複数の企業によってうまくデプロイされており、Eコマースの分野における1つの顧客ケーススタディを強調している。
関連論文リスト
- From Computation to Consumption: Exploring the Compute-Energy Link for Training and Testing Neural Networks for SED Systems [9.658615045493734]
本稿では,音事象検出システムの主要なコンポーネントであるニューラルネットワークアーキテクチャについて検討する。
我々は,小規模から大規模アーキテクチャの訓練および試験におけるエネルギー消費量を測定した。
我々は,エネルギー消費,浮動小数点演算数,パラメータ数,GPU/メモリ利用率の複雑な関係を確立する。
論文 参考訳（メタデータ） (2024-09-08T12:51:34Z) - On Efficient Training of Large-Scale Deep Learning Models: A Literature
Review [90.87691246153612]
ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。
大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。
計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
論文 参考訳（メタデータ） (2023-04-07T11:13:23Z) - Unifying Synergies between Self-supervised Learning and Dynamic
Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。
SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。
密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文 参考訳（メタデータ） (2023-01-22T17:12:58Z) - On-device Training: A First Overview on Existing Systems [6.551096686706628]
リソース制約のあるデバイスにいくつかのモデルをデプロイする努力も行われている。
この研究は、デバイス上でモデルトレーニングを可能にする最先端のシステム研究を要約し、分析することを目的としている。
論文 参考訳（メタデータ） (2022-12-01T19:22:29Z) - Enable Deep Learning on Mobile Devices: Methods, Systems, and
Applications [46.97774949613859]
ディープニューラルネットワーク(DNN)は人工知能(AI)分野において前例のない成功を収めた
しかし、それらの優れた性能は、計算の複雑さのかなりのコストを伴っている。
本稿では,効率的なディープラーニング手法,システム,応用について概説する。
論文 参考訳（メタデータ） (2022-04-25T16:52:48Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - M6-10T: A Sharing-Delinking Paradigm for Efficient Multi-Trillion
Parameter Pretraining [55.16088793437898]
極端なモデルのトレーニングには大量の計算とメモリフットプリントが必要です。
本稿では,高メモリフットプリント要求大モデルのための簡単なトレーニング戦略"Pseudo-to-Real"を提案する。
論文 参考訳（メタデータ） (2021-10-08T04:24:51Z) - Distributed Training of Deep Learning Models: A Taxonomic Perspective [11.924058430461216]
分散ディープラーニングシステム(DDLS)は、クラスタの分散リソースを利用することで、ディープニューラルネットワークモデルをトレーニングする。
私たちは、独立したマシンのクラスタでディープニューラルネットワークをトレーニングする際の、作業の基本原則に光を当てることを目指しています。
論文 参考訳（メタデータ） (2020-07-08T08:56:58Z) - Knowledge Distillation: A Survey [87.51063304509067]
ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。
リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。
知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
論文 参考訳（メタデータ） (2020-06-09T21:47:17Z) - Resource-Efficient Neural Networks for Embedded Systems [23.532396005466627]
本稿では,機械学習技術の現状について概説する。
私たちは、過去10年で主要な機械学習モデルであるディープニューラルネットワーク(DNN)に基づく、リソース効率の高い推論に焦点を当てています。
我々は、圧縮技術を用いて、よく知られたベンチマークデータセットの実験で議論を裏付ける。
論文 参考訳（メタデータ） (2020-01-07T14:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。