論文の概要: Benchmarking scalability of stream processing frameworks deployed as
microservices in the cloud
- arxiv url: http://arxiv.org/abs/2303.11088v2
- Date: Tue, 17 Oct 2023 14:03:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-21 15:08:08.182528
- Title: Benchmarking scalability of stream processing frameworks deployed as
microservices in the cloud
- Title（参考訳）: クラウドにおけるマイクロサービスとしてデプロイされたストリーム処理フレームワークのベンチマークスケーラビリティ
- Authors: S\"oren Henning, Wilhelm Hasselbring
- Abstract要約: 我々は、体系的手法を用いて、そのスケーラビリティに関する5つの最新のストリーム処理フレームワークをベンチマークする。
すべてのベンチマークフレームワークは、十分なクラウドリソースがプロビジョニングされている限り、ほぼ線形スケーラビリティを示す。
明確な優れたフレームワークはありませんが、ユースケースにおけるフレームワークのランキングです。
- 参考スコア（独自算出の注目度）: 0.38073142980732994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Context: The combination of distributed stream processing with microservice
architectures is an emerging pattern for building data-intensive software
systems. In such systems, stream processing frameworks such as Apache Flink,
Apache Kafka Streams, Apache Samza, Hazelcast Jet, or the Apache Beam SDK are
used inside microservices to continuously process massive amounts of data in a
distributed fashion. While all of these frameworks promote scalability as a
core feature, there is only little empirical research evaluating and comparing
their scalability. Objective: The goal of this study to obtain evidence about
the scalability of state-of-the-art stream processing framework in different
execution environments and regarding different scalability dimensions. Method:
We benchmark five modern stream processing frameworks regarding their
scalability using a systematic method. We conduct over 740 hours of experiments
on Kubernetes clusters in the Google cloud and in a private cloud, where we
deploy up to 110 simultaneously running microservice instances, which process
up to one million messages per second. Results: All benchmarked frameworks
exhibit approximately linear scalability as long as sufficient cloud resources
are provisioned. However, the frameworks show considerable differences in the
rate at which resources have to be added to cope with increasing load. There is
no clear superior framework, but the ranking of the frameworks depends on the
use case. Using Apache Beam as an abstraction layer still comes at the cost of
significantly higher resource requirements regardless of the use case. We
observe our results regardless of scaling load on a microservice, scaling the
computational work performed inside the microservice, and the selected cloud
environment. Moreover, vertical scaling can be a complementary measure to
achieve scalability of stream processing frameworks.
- Abstract（参考訳）: コンテキスト: 分散ストリーム処理とマイクロサービスアーキテクチャの組み合わせは、データ集約型ソフトウェアシステムを構築するための新たなパターンです。
このようなシステムでは、Apache Flink、Apache Kafka Streams、Apache Samza、Hazelcast Jet、Apache Beam SDKといったストリーム処理フレームワークが、分散形式で大量のデータを継続的に処理するためにマイクロサービス内で使用される。
これらのフレームワークはすべて、コア機能としてスケーラビリティを促進するが、スケーラビリティを評価し比較する実証的な研究はほとんどない。
目的: 本研究の目的は, 異なる実行環境における最先端ストリーム処理フレームワークのスケーラビリティと, 異なるスケーラビリティ次元に関する証拠を得ることである。
方法: 体系的手法を用いて, 拡張性に関する最新の5つのストリーム処理フレームワークをベンチマークする。
google cloud内のkubernetesクラスタとプライベートクラウドで740時間以上の実験を行い、110までの同時実行のマイクロサービスインスタンスをデプロイし、毎秒100万メッセージまで処理します。
結果: 十分なクラウドリソースがプロビジョニングされている限り、すべてのベンチマークフレームワークはおよそ線形スケーラビリティを示します。
しかし、これらのフレームワークは負荷の増加に対応するためにリソースを追加する必要がある速度にかなりの差があることを示している。
明確な優れたフレームワークはありませんが、フレームワークのランキングはユースケースによって異なります。
抽象化レイヤとしてApache Beamを使用する場合、ユースケースに関わらず、リソース要求が大幅に高くなる。
マイクロサービス上の負荷のスケーリング、マイクロサービス内で実行される計算処理のスケールアップ、選択されたクラウド環境に関わらず、結果を観察します。
さらに、垂直スケーリングは、ストリーム処理フレームワークのスケーラビリティを実現するための補完的な手段となる。
関連論文リスト
- A Comprehensive Benchmarking Analysis of Fault Recovery in Stream Processing Frameworks [1.3398445165628463]
本稿では, クラウドネイティブ環境における障害復旧性能, 安定性, 回復時間に関する包括的解析を行う。
以上の結果から,Flinkは最も安定しており,最高の障害回復の1つであることが示唆された。
K Kafka Streamsは適切なフォールトリカバリパフォーマンスと安定性を示しているが、イベントレイテンシは高い。
論文 参考訳（メタデータ） (2024-04-09T10:49:23Z) - ShuffleBench: A Benchmark for Large-Scale Data Shuffling Operations with
Distributed Stream Processing Frameworks [1.4374467687356276]
本稿では、最新のストリーム処理フレームワークの性能を評価するための新しいベンチマークであるShuffleBenchを紹介する。
ShuffleBenchは、大規模なクラウドオブザーバビリティプラットフォームのほぼリアルタイム分析の要件にインスパイアされている。
その結果,Herzelcastは低レイテンシでデータストリームを処理するのに対して,Flinkは最高スループットを実現していることがわかった。
論文 参考訳（メタデータ） (2024-03-07T15:06:24Z) - Pathway: a fast and flexible unified stream data processing framework
for analytical and Machine Learning applications [7.850979932441607]
Pathwayは新しい統一データ処理フレームワークで、バウンドとアンバウンドのデータストリームの両方でワークロードを実行できる。
本稿では,本システムについて述べるとともに,バッチとストリーミングの両コンテキストにおいて,その性能を示すベンチマーク結果を示す。
論文 参考訳（メタデータ） (2023-07-12T08:27:37Z) - In Situ Framework for Coupling Simulation and Machine Learning with
Application to CFD [51.04126395480625]
近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。
シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。
この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
論文 参考訳（メタデータ） (2023-06-22T14:07:54Z) - A Unified Cloud-Enabled Discrete Event Parallel and Distributed
Simulation Architecture [0.7949705607963994]
クラウドにシミュレーションをデプロイするのに十分な柔軟性を備えた並列分散M&Sアーキテクチャを提案する。
我々のフレームワークは、離散イベントシステム仕様(DEVS)の形式に基づいている。
並列および分散フレームワークのパフォーマンスは、xDEVS M&Sツールと最大8つの計算ノードを持つDEVStoneベンチマークを用いてテストされる。
論文 参考訳（メタデータ） (2023-02-22T09:47:09Z) - Slimmable Domain Adaptation [112.19652651687402]
重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。
私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-06-14T06:28:04Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。
当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。
単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
論文 参考訳（メタデータ） (2021-10-26T20:41:19Z) - Large-Scale Intelligent Microservices [24.99695289157708]
我々は、データベース操作を拡張してWebサービスプリミティブを含むApache Sparkベースのマイクロサービスオーケストレーションフレームワークを紹介します。
音声、視覚、検索、異常検出、テキスト分析などのインテリジェントなサービスに対して大規模なクライアントを提供する。
論文 参考訳（メタデータ） (2020-09-17T03:38:28Z) - Coresets via Bilevel Optimization for Continual Learning and Streaming [86.67190358712064]
濃度制約付き二レベル最適化による新しいコアセット構成を提案する。
我々のフレームワークがディープニューラルネットワークのコアセットを効率的に生成できることを示し、連続学習やストリーミング設定における経験的メリットを示す。
論文 参考訳（メタデータ） (2020-06-06T14:20:25Z) - A Privacy-Preserving Distributed Architecture for
Deep-Learning-as-a-Service [68.84245063902908]
本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。
クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
論文 参考訳（メタデータ） (2020-03-30T15:12:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。