論文の概要: High-level Stream Processing: A Complementary Analysis of Fault Recovery
- arxiv url: http://arxiv.org/abs/2405.07917v1
- Date: Mon, 13 May 2024 16:48:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 12:46:36.256349
- Title: High-level Stream Processing: A Complementary Analysis of Fault Recovery
- Title（参考訳）: 高レベルストリーム処理:断層回復の相補的解析
- Authors: Adriano Vogel, Sören Henning, Esteban Perez-Wohlfeil, Otmar Ertl, Rick Rabiser,
- Abstract要約: 当社では,大規模なクラウド可観測性プラットフォームのほぼリアルタイム分析の要件に触発された,ロバストなデプロイメントセットアップに重点を置いています。
その結果,障害回復と性能向上の可能性が示唆された。
大規模産業のセットアップには、透過的な構成チューニングのための新しい抽象化も必要である。
- 参考スコア（独自算出の注目度）: 1.3398445165628463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parallel computing is very important to accelerate the performance of software systems. Additionally, considering that a recurring challenge is to process high data volumes continuously, stream processing emerged as a paradigm and software architectural style. Several software systems rely on stream processing to deliver scalable performance, whereas open-source frameworks provide coding abstraction and high-level parallel computing. Although stream processing's performance is being extensively studied, the measurement of fault tolerance--a key abstraction offered by stream processing frameworks--has still not been adequately measured with comprehensive testbeds. In this work, we extend the previous fault recovery measurements with an exploratory analysis of the configuration space, additional experimental measurements, and analysis of improvement opportunities. We focus on robust deployment setups inspired by requirements for near real-time analytics of a large cloud observability platform. The results indicate significant potential for improving fault recovery and performance. However, these improvements entail grappling with configuration complexities, particularly in identifying and selecting the configurations to be fine-tuned and determining the appropriate values for them. Therefore, new abstractions for transparent configuration tuning are also needed for large-scale industry setups. We believe that more software engineering efforts are needed to provide insights into potential abstractions and how to achieve them. The stream processing community and industry practitioners could also benefit from more interactions with the high-level parallel programming community, whose expertise and insights on making parallel programming more productive and efficient could be extended.
- Abstract（参考訳）: 並列コンピューティングは、ソフトウェアシステムの性能を加速するために非常に重要である。
さらに、データボリュームを継続的に処理することが繰り返し発生する問題を考えると、ストリーム処理はパラダイムとソフトウェアアーキテクチャのスタイルとして現れます。
いくつかのソフトウェアシステムは、スケーラブルなパフォーマンスを提供するためにストリーム処理に依存しているが、オープンソースフレームワークはコーディングの抽象化とハイレベル並列コンピューティングを提供する。
ストリーム処理の性能は広く研究されているが、ストリーム処理フレームワークが提供する重要な抽象化であるフォールトトレランスの測定は、包括的なテストベッドで十分に測定されていない。
本研究は,構成空間の探索的解析,追加実験測定,改善機会の分析により,過去の故障復旧計測を拡張したものである。
当社では,大規模なクラウド可観測性プラットフォームのほぼリアルタイム分析の要件に触発された,ロバストなデプロイメントセットアップに重点を置いています。
その結果,障害回復と性能向上の可能性が示唆された。
しかし、これらの改善は、特に微調整される構成を特定し、選択し、適切な値を決定する際に、構成の複雑さに悩まされる。
そのため、大規模産業において、透過的な構成調整のための新しい抽象化も必要である。
私たちは、潜在的な抽象化とそれを実現する方法に関する洞察を提供するために、より多くのソフトウェアエンジニアリングの努力が必要であると信じています。
ストリーム処理コミュニティと業界実践者は、並列プログラミングをより生産的かつ効率的にするための専門知識と洞察を拡張できる、ハイレベルな並列プログラミングコミュニティとのより多くの相互作用の恩恵を受けることができます。
関連論文リスト
- The Effect of Scheduling and Preemption on the Efficiency of LLM Inference Serving [8.552242818726347]
INFERMAXは様々なスケジューラを比較するために推論コストモデルを使用する分析フレームワークである。
その結果,プリエンプション要求はプリエンプションを回避するよりもGPUコストを30%削減できることがわかった。
論文 参考訳（メタデータ） (2024-11-12T00:10:34Z) - Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - A Comprehensive Benchmarking Analysis of Fault Recovery in Stream Processing Frameworks [1.3398445165628463]
本稿では, クラウドネイティブ環境における障害復旧性能, 安定性, 回復時間に関する包括的解析を行う。
以上の結果から,Flinkは最も安定しており,最高の障害回復の1つであることが示唆された。
K Kafka Streamsは適切なフォールトリカバリパフォーマンスと安定性を示しているが、イベントレイテンシは高い。
論文 参考訳（メタデータ） (2024-04-09T10:49:23Z) - Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。
本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。
我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
論文 参考訳（メタデータ） (2024-03-26T16:33:12Z) - A Microservices Identification Method Based on Spectral Clustering for
Industrial Legacy Systems [5.255685751491305]
本稿では,スペクトルグラフ理論に基づくマイクロサービス候補抽出のための自動分解手法を提案する。
提案手法は,ドメインの専門家が関与しなくても,良好な結果が得られることを示す。
論文 参考訳（メタデータ） (2023-12-20T07:47:01Z) - Can LLMs Configure Software Tools [0.76146285961466]
ソフトウェア工学では、複雑なシステム内での最適なパフォーマンスを確保するためには、ソフトウェアツールの精巧な構成が不可欠である。
本研究では,Large-Language Models (LLMs) を利用したソフトウェア構成プロセスの合理化について検討する。
本研究は,Chat-GPTなどのLCMを用いて,開始条件を特定し,検索空間を狭め,構成効率を向上する手法を提案する。
論文 参考訳（メタデータ） (2023-12-11T05:03:02Z) - FuzzyFlow: Leveraging Dataflow To Find and Squash Program Optimization
Bugs [92.47146416628965]
FuzzyFlowはプログラム最適化をテストするために設計されたフォールトローカライゼーションとテストケース抽出フレームワークである。
我々は、データフロープログラム表現を活用して、完全に再現可能なシステム状態と最適化のエリア・オブ・エフェクトをキャプチャする。
テスト時間を削減するため,テスト入力を最小限に抑えるアルゴリズムを設計し,再計算のためのメモリ交換を行う。
論文 参考訳（メタデータ） (2023-06-28T13:00:17Z) - Distributed intelligence on the Edge-to-Cloud Continuum: A systematic
literature review [62.997667081978825]
このレビューは、現在利用可能な機械学習とデータ分析のための最先端ライブラリとフレームワークに関する包括的なビジョンを提供することを目的としている。
現在利用可能なEdge-to-Cloud Continuumに関する実験的な研究のための、主要なシミュレーション、エミュレーション、デプロイメントシステム、テストベッドも調査されている。
論文 参考訳（メタデータ） (2022-04-29T08:06:05Z) - Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning
Preprocessing Pipelines [77.45213180689952]
ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。
エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。
チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
論文 参考訳（メタデータ） (2022-02-17T14:31:58Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。