論文の概要: Benchmarking Data Management Systems for Microservices
- arxiv url: http://arxiv.org/abs/2405.11529v1
- Date: Sun, 19 May 2024 11:55:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 15:22:21.042761
- Title: Benchmarking Data Management Systems for Microservices
- Title(参考訳): マイクロサービスのためのデータ管理システムのベンチマーク
- Authors: Rodrigo Laigner, Yongluan Zhou,
- Abstract要約: マイクロサービスアーキテクチャは、大規模なデータ集約型アプリケーションをデプロイするための一般的な選択肢である。
既存のマイクロサービスベンチマークには、データ管理の課題が欠如している。
Online Marketplaceは、コアデータ管理要件を受け入れる新しいベンチマークである。
- 参考スコア(独自算出の注目度): 1.9948490148513414
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Microservice architectures are a popular choice for deploying large-scale data-intensive applications. This architectural style allows microservice practitioners to achieve requirements related to loose coupling, fault contention, workload isolation, higher data availability, scalability, and independent schema evolution. Although the industry has been employing microservices for over a decade, existing microservice benchmarks lack essential data management challenges observed in practice, including distributed transaction processing, consistent data querying and replication, event processing, and data integrity constraint enforcement. This gap jeopardizes the development of novel data systems that embrace the complex nature of data-intensive microservices. In this talk, we share our experience in designing Online Marketplace, a novel benchmark that embraces core data management requirements intrinsic to real-world microservices. By implementing the benchmark in state-of-the-art data platforms, we experience the pain practitioners face in assembling several heterogeneous components to realize their requirements. Our evaluation demonstrates Online Marketplace allows experimenting key properties sought by microservice practitioners, thus fomenting the design of novel data management systems.
- Abstract(参考訳): マイクロサービスアーキテクチャは、大規模なデータ集約型アプリケーションをデプロイするための一般的な選択肢である。
このアーキテクチャスタイルにより、マイクロサービスの実践者は、疎結合、障害競合、ワークロード分離、高可用性、スケーラビリティ、独立スキーマの進化に関連する要件を達成できる。
業界はマイクロサービスを10年以上採用してきたが、既存のマイクロサービスベンチマークには、分散トランザクション処理、一貫性のあるデータクエリとレプリケーション、イベント処理、データ整合性制約の適用など、実際に観察される重要なデータ管理上の課題が欠如している。
このギャップは、データ集約型マイクロサービスの複雑な性質を取り入れた、新たなデータシステムの開発を妨げます。
この講演では、現実世界のマイクロサービスに固有のコアデータ管理要件を取り入れた、新たなベンチマークであるOnline Marketplaceの設計の経験について紹介します。
最先端のデータプラットフォームでベンチマークを実装することで、さまざまな異種コンポーネントを組み立てて要件を実現する上で、実践者が直面する苦痛を経験します。
評価では,マイクロサービス実践者が求めている重要な特性を実験することで,新たなデータ管理システムの設計を阻害することができる。
関連論文リスト
- A Benchmark for Data Management in Microservices [1.9338699922911442]
コアデータ管理の課題を取り入れた,マイクロサービスベンチマークであるOnline Marketplaceを紹介します。
これらの課題には、トランザクション処理、クエリ処理、イベント処理、制約執行、データレプリケーションなどが含まれる。
私たちは、最先端のデータプラットフォームを正確に反映したワークロードを作成する上で直面した課題を紹介します。
論文 参考訳(メタデータ) (2024-03-19T10:14:48Z) - An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。
本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。
提案されたフレームワークは使いやすく、柔軟です。
論文 参考訳(メタデータ) (2024-02-26T07:22:51Z) - A microservice architecture for real-time IoT data processing: A
reusable Web of things approach for smart ports [4.612539452170667]
Web of Thingsのパラダイムを使って標準化された、完全に再利用可能なマイクロサービスアーキテクチャを提案する。
本稿では,大気質の監視やスマートポートの警告といった分野において,アーキテクチャの完全再利用可能な実装を提案する。
論文 参考訳(メタデータ) (2024-01-27T11:40:38Z) - A Microservices Identification Method Based on Spectral Clustering for
Industrial Legacy Systems [5.255685751491305]
本稿では,スペクトルグラフ理論に基づくマイクロサービス候補抽出のための自動分解手法を提案する。
提案手法は,ドメインの専門家が関与しなくても,良好な結果が得られることを示す。
論文 参考訳(メタデータ) (2023-12-20T07:47:01Z) - Data Acquisition: A New Frontier in Data-centric AI [65.90972015426274]
まず、現在のデータマーケットプレースを調査し、データセットに関する詳細な情報を提供するプラットフォームが不足していることを明らかにする。
次に、データプロバイダと取得者間のインタラクションをモデル化するベンチマークであるDAMチャレンジを紹介します。
提案手法の評価は,機械学習における効果的なデータ取得戦略の必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-11-22T22:15:17Z) - Privacy-preserving design of graph neural networks with applications to
vertical federated learning [56.74455367682945]
VESPERと呼ばれるエンドツーエンドのグラフ表現学習フレームワークを提案する。
VESPERは、適切なプライバシー予算の下でスパースグラフと密度グラフの両方で高性能なGNNモデルをトレーニングすることができる。
論文 参考訳(メタデータ) (2023-10-31T15:34:59Z) - AI Techniques in the Microservices Life-Cycle: A Survey [10.06596283248616]
マイクロサービスシステムでは、機能性は疎結合の小さなサービスによって提供され、それぞれが特定のビジネス機能に重点を置いています。
アーキテクチャスタイルに従ってシステムを構築することは、主に、どのようにデプロイされ、調整されるかについて、多くの課題をもたらします。
本稿では,人工知能の分野における技術が,これらの課題にどのように取り組んできたかについての調査を行う。
論文 参考訳(メタデータ) (2023-05-25T14:24:37Z) - Towards Avoiding the Data Mess: Industry Insights from Data Mesh Implementations [1.5029560229270191]
Data Meshは、企業データ管理のための、社会技術的、分散化されたコンセプトである。
業界の専門家との15の半構造化インタビューを行います。
本研究は,業界の専門家による知見を総合し,データメッシュの採用を成功させるための予備的ガイドラインを研究者や専門家に提供する。
論文 参考訳(メタデータ) (2023-02-03T13:09:57Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳(メタデータ) (2022-08-16T20:46:08Z) - DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。
私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。
ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
論文 参考訳(メタデータ) (2022-07-20T17:47:54Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳(メタデータ) (2021-12-22T14:45:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。