論文の概要: Deep Learning Inference Frameworks Benchmark
- arxiv url: http://arxiv.org/abs/2210.04323v1
- Date: Sun, 9 Oct 2022 19:16:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 19:44:06.910253
- Title: Deep Learning Inference Frameworks Benchmark
- Title（参考訳）: ディープラーニング推論フレームワークベンチマーク
- Authors: Pierrick Pochelu
- Abstract要約: 近年,ディープラーニング(DL)が広く採用されているが,計算集約的な手法である。
現在、パフォーマンスの面では単一の推論フレームワークが支配的ではない。
本稿では,4つの代表的なDL推論フレームワークの実証的比較と分析を行うために,総合的なアプローチをとる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning (DL) has been widely adopted those last years but they are
computing-intensive method. Therefore, scientists proposed diverse optimization
to accelerate their predictions for end-user applications. However, no single
inference framework currently dominates in terms of performance. This paper
takes a holistic approach to conduct an empirical comparison and analysis of
four representative DL inference frameworks. First, given a selection of
CPU-GPU configurations, we show that for a specific DL framework, different
configurations of its settings may have a significant impact on the prediction
speed, memory, and computing power. Second, to the best of our knowledge, this
study is the first to identify the opportunities for accelerating the ensemble
of co-localized models in the same GPU. This measurement study provides an
in-depth empirical comparison and analysis of four representative DL frameworks
and offers practical guidance for service providers to deploy and deliver DL
predictions.
- Abstract（参考訳）: 近年,ディープラーニング(DL)が広く採用されているが,計算集約的な手法である。
そのため、エンドユーザーアプリケーションの予測を高速化する多様な最適化を提案した。
しかし、現在パフォーマンスに関して単一の推論フレームワークが支配的ではない。
本稿では,4つの代表的なDL推論フレームワークの実証的比較と分析を行うための総合的なアプローチをとる。
まず、CPU-GPU構成の選択から、特定のDLフレームワークに対して、その設定の異なる構成が予測速度、メモリ、計算能力に大きな影響を与える可能性があることを示す。
第二に、私たちの知る限りでは、この研究は、同じGPUでコローカライズされたモデルのアンサンブルを加速する機会を初めて特定する。
本研究は,4つの代表的なDLフレームワークの詳細な比較と分析を行い,サービスプロバイダがDL予測の展開と提供を行うための実践的なガイダンスを提供する。
関連論文リスト
- PredBench: Benchmarking Spatio-Temporal Prediction across Diverse Disciplines [86.36060279469304]
予測時間ネットワークの総合評価に適したベンチマークであるPredBenchを紹介する。
このベンチマークでは、広く採用されている12のメソッドと、複数のアプリケーションドメインにまたがる多様なデータセットを統合する。
その多次元評価フレームワークは、総合的なメトリクスセットで分析を広げる。
論文 参考訳（メタデータ） (2024-07-11T11:51:36Z) - Pushing the Boundary: Specialising Deep Configuration Performance Learning [0.0]
この論文は、構成性能モデリングにおけるディープラーニング技術に関する体系的な文献レビューから始まる。
第一の知識のギャップは、どの符号化方式が優れているかについての理解の欠如である。
第二の知識ギャップは、構成のランドスケープから受け継がれた空間である。
論文 参考訳（メタデータ） (2024-07-02T22:59:19Z) - Data-driven Power Flow Linearization: Theory [9.246677771418428]
データ駆動型電力フロー線形化(DPFL)は、その高い近似精度、広い適応性、そして最新のシステム属性を暗黙的に組み込む能力で際立っている。
本チュートリアルでは,既存のDPFLメソッドをDPFLトレーニングアルゴリズムと支援手法に分類する。
彼らの数学的モデル、解析解、能力、限界、一般化可能性は体系的に検討され、議論され、要約される。
論文 参考訳（メタデータ） (2024-06-10T22:22:41Z) - Towards Coarse-to-Fine Evaluation of Inference Efficiency for Large Language Models [95.96734086126469]
大規模言語モデル(LLM)は、ユーザが仕事を達成するのを助けるアシスタントとして機能し、高度なアプリケーションの開発をサポートする。
LLMの幅広い応用にとって、推論効率は重要な問題であり、既存の研究で広く研究されている。
各種コードライブラリの推論性能の粗大な解析を行う。
論文 参考訳（メタデータ） (2024-04-17T15:57:50Z) - Leveraging Reinforcement Learning and Large Language Models for Code
Optimization [14.602997316032706]
本稿では,コード最適化の複雑さを低減するための新しいフレームワークを提案する。
提案するフレームワークは,大規模言語モデル(LLM)と強化学習(RL)に基づく。
我々は,新しい強化学習アルゴリズムであるCodeT5言語モデルとRRHFを用いて,PIEデータセット上でいくつかの実験を行った。
論文 参考訳（メタデータ） (2023-12-09T19:50:23Z) - Pre-trained Embeddings for Entity Resolution: An Experimental Analysis
[Experiment, Analysis & Benchmark] [65.11858854040544]
我々は、17の確立されたベンチマークデータセットに対して、12のポピュラー言語モデルの徹底的な実験分析を行う。
まず、全ての入力エンティティを高密度な埋め込みベクトルに変換するためのベクトル化のオーバーヘッドを評価する。
次に,そのブロッキング性能を調査し,詳細なスケーラビリティ解析を行い,最先端のディープラーニングベースのブロッキング手法と比較する。
第3に、教師なしマッチングと教師なしマッチングの両方に対して、相対的な性能で締めくくります。
論文 参考訳（メタデータ） (2023-04-24T08:53:54Z) - Hierarchical Optimization-Derived Learning [58.69200830655009]
我々は,最適化モデル構築の本質的な動作とそれに対応する学習過程を同時に研究するために,階層型ODL(Hyerarchical ODL)という新しいフレームワークを構築した。
これは、最適化と学習という2つの結合されたODLコンポーネントに対する最初の理論的保証である。
論文 参考訳（メタデータ） (2023-02-11T03:35:13Z) - Large-scale learning of generalised representations for speaker
recognition [52.978310296712834]
多様なシナリオで使用される話者認識モデルを開発した。
いくつかの既存のデータセットを組み合わせた新しいトレーニングデータ構成について検討する。
帰納バイアスの少ない MFA-Conformer が最良を一般化する。
論文 参考訳（メタデータ） (2022-10-20T03:08:18Z) - Evaluating the Explainers: Black-Box Explainable Machine Learning for
Student Success Prediction in MOOCs [5.241055914181294]
ブラックボックス機械学習モデルを説明するための5つの最先端手法を実装した。
学生のパフォーマンス予測の下流課題に対する各アプローチの強みについて検討する。
この結果は,説明者の選択が重要な決定である,という結論に至った。
論文 参考訳（メタデータ） (2022-07-01T17:09:17Z) - SCAI: A Spectral data Classification framework with Adaptive Inference
for the IoT platform [0.0]
適応推論を用いたスペクトルデータ分類フレームワークを提案する。
具体的には、異なるデバイス間のコラボレーションをよりよく活用しながら、異なるサンプルに対して異なる計算を割り当てる。
我々の知る限り、この論文はIoTプラットフォーム下でのスペクトル検出のための適応推論による最適化を行うための最初の試みである。
論文 参考訳（メタデータ） (2022-06-24T09:22:52Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳（メタデータ） (2020-12-01T11:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。