論文の概要: Deep Learning Inference Frameworks Benchmark
- arxiv url: http://arxiv.org/abs/2210.04323v1
- Date: Sun, 9 Oct 2022 19:16:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 19:44:06.910253
- Title: Deep Learning Inference Frameworks Benchmark
- Title(参考訳): ディープラーニング推論フレームワークベンチマーク
- Authors: Pierrick Pochelu
- Abstract要約: 近年,ディープラーニング(DL)が広く採用されているが,計算集約的な手法である。
現在、パフォーマンスの面では単一の推論フレームワークが支配的ではない。
本稿では,4つの代表的なDL推論フレームワークの実証的比較と分析を行うために,総合的なアプローチをとる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning (DL) has been widely adopted those last years but they are
computing-intensive method. Therefore, scientists proposed diverse optimization
to accelerate their predictions for end-user applications. However, no single
inference framework currently dominates in terms of performance. This paper
takes a holistic approach to conduct an empirical comparison and analysis of
four representative DL inference frameworks. First, given a selection of
CPU-GPU configurations, we show that for a specific DL framework, different
configurations of its settings may have a significant impact on the prediction
speed, memory, and computing power. Second, to the best of our knowledge, this
study is the first to identify the opportunities for accelerating the ensemble
of co-localized models in the same GPU. This measurement study provides an
in-depth empirical comparison and analysis of four representative DL frameworks
and offers practical guidance for service providers to deploy and deliver DL
predictions.
- Abstract(参考訳): 近年,ディープラーニング(DL)が広く採用されているが,計算集約的な手法である。
そのため、エンドユーザーアプリケーションの予測を高速化する多様な最適化を提案した。
しかし、現在パフォーマンスに関して単一の推論フレームワークが支配的ではない。
本稿では,4つの代表的なDL推論フレームワークの実証的比較と分析を行うための総合的なアプローチをとる。
まず、CPU-GPU構成の選択から、特定のDLフレームワークに対して、その設定の異なる構成が予測速度、メモリ、計算能力に大きな影響を与える可能性があることを示す。
第二に、私たちの知る限りでは、この研究は、同じGPUでコローカライズされたモデルのアンサンブルを加速する機会を初めて特定する。
本研究は,4つの代表的なDLフレームワークの詳細な比較と分析を行い,サービスプロバイダがDL予測の展開と提供を行うための実践的なガイダンスを提供する。
関連論文リスト
- When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - Leveraging Reinforcement Learning and Large Language Models for Code
Optimization [14.602997316032706]
本稿では,コード最適化の複雑さを低減するための新しいフレームワークを提案する。
提案するフレームワークは,大規模言語モデル(LLM)と強化学習(RL)に基づく。
我々は,新しい強化学習アルゴリズムであるCodeT5言語モデルとRRHFを用いて,PIEデータセット上でいくつかの実験を行った。
論文 参考訳(メタデータ) (2023-12-09T19:50:23Z) - Pre-trained Embeddings for Entity Resolution: An Experimental Analysis
[Experiment, Analysis & Benchmark] [65.11858854040544]
我々は、17の確立されたベンチマークデータセットに対して、12のポピュラー言語モデルの徹底的な実験分析を行う。
まず、全ての入力エンティティを高密度な埋め込みベクトルに変換するためのベクトル化のオーバーヘッドを評価する。
次に,そのブロッキング性能を調査し,詳細なスケーラビリティ解析を行い,最先端のディープラーニングベースのブロッキング手法と比較する。
第3に、教師なしマッチングと教師なしマッチングの両方に対して、相対的な性能で締めくくります。
論文 参考訳(メタデータ) (2023-04-24T08:53:54Z) - Hierarchical Optimization-Derived Learning [58.69200830655009]
我々は,最適化モデル構築の本質的な動作とそれに対応する学習過程を同時に研究するために,階層型ODL(Hyerarchical ODL)という新しいフレームワークを構築した。
これは、最適化と学習という2つの結合されたODLコンポーネントに対する最初の理論的保証である。
論文 参考訳(メタデータ) (2023-02-11T03:35:13Z) - Large-scale learning of generalised representations for speaker
recognition [52.978310296712834]
多様なシナリオで使用される話者認識モデルを開発した。
いくつかの既存のデータセットを組み合わせた新しいトレーニングデータ構成について検討する。
帰納バイアスの少ない MFA-Conformer が最良を一般化する。
論文 参考訳(メタデータ) (2022-10-20T03:08:18Z) - Task-Free Continual Learning via Online Discrepancy Distance Learning [11.540150938141034]
本稿では,来訪したサンプルとモデルトレーニングに利用可能な情報全体との差分距離に基づく一般化境界を提供する,新しい理論解析フレームワークを開発する。
この理論モデルに着想を得て,混合モデルに対する動的成分展開機構,すなわちオンライン離散距離学習(ODDL)によって実現された新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-10-12T20:44:09Z) - Evaluating the Explainers: Black-Box Explainable Machine Learning for
Student Success Prediction in MOOCs [5.241055914181294]
ブラックボックス機械学習モデルを説明するための5つの最先端手法を実装した。
学生のパフォーマンス予測の下流課題に対する各アプローチの強みについて検討する。
この結果は,説明者の選択が重要な決定である,という結論に至った。
論文 参考訳(メタデータ) (2022-07-01T17:09:17Z) - SCAI: A Spectral data Classification framework with Adaptive Inference
for the IoT platform [0.0]
適応推論を用いたスペクトルデータ分類フレームワークを提案する。
具体的には、異なるデバイス間のコラボレーションをよりよく活用しながら、異なるサンプルに対して異なる計算を割り当てる。
我々の知る限り、この論文はIoTプラットフォーム下でのスペクトル検出のための適応推論による最適化を行うための最初の試みである。
論文 参考訳(メタデータ) (2022-06-24T09:22:52Z) - How Powerful are Performance Predictors in Neural Architecture Search? [43.86743225322636]
我々は31の手法を解析し,性能予測器の大規模研究を行った。
予測器の特定のファミリーが組み合わさることで、より優れた予測能力が得られることを示す。
論文 参考訳(メタデータ) (2021-04-02T17:57:16Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳(メタデータ) (2020-12-01T11:46:03Z) - FedDANE: A Federated Newton-Type Method [49.9423212899788]
フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。
我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
論文 参考訳(メタデータ) (2020-01-07T07:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。