論文の概要: A Benchmark for Data Management in Microservices
- arxiv url: http://arxiv.org/abs/2403.12605v2
- Date: Sun, 19 May 2024 11:41:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 22:50:58.299173
- Title: A Benchmark for Data Management in Microservices
- Title(参考訳): マイクロサービスのデータ管理ベンチマーク
- Authors: Rodrigo Laigner, Zhexiang Zhang, Yijian Liu, Leonardo Freitas Gomes, Yongluan Zhou,
- Abstract要約: コアデータ管理の課題を取り入れた,マイクロサービスベンチマークであるOnline Marketplaceを紹介します。
これらの課題には、トランザクション処理、クエリ処理、イベント処理、制約執行、データレプリケーションなどが含まれる。
私たちは、最先端のデータプラットフォームを正確に反映したワークロードを作成する上で直面した課題を紹介します。
- 参考スコア(独自算出の注目度): 1.9338699922911442
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Microservice architectures emerged as a popular architecture for designing scalable distributed applications. Although microservices have been extensively employed in industry settings for over a decade, there is little understanding of the data management challenges that arise in these applications. As a result, it is difficult to advance data system technologies for supporting microservice applications. To fill this gap, we present Online Marketplace, a microservice benchmark that incorporates core data management challenges that existing benchmarks have not sufficiently addressed. These challenges include transaction processing, query processing, event processing, constraint enforcement, and data replication. We have defined criteria for various data management issues to enable proper comparison across data systems and platforms. After specifying the benchmark, we present the challenges we faced in creating workloads that accurately reflect the dynamic state of the microservices. We also discuss issues that we encountered when implementing Online Marketplace in state-of-the-art data platforms and meeting the criteria. Our evaluation demonstrates that the benchmark is a valuable tool for testing important properties sought by microservice practitioners. As a result, our proposed benchmark will facilitate the design of future data systems to meet the expectations of microservice practitioners.
- Abstract(参考訳): スケーラブルな分散アプリケーションを設計するための一般的なアーキテクチャとして、マイクロサービスアーキテクチャが登場した。
マイクロサービスは10年以上にわたって業界で広く採用されてきたが、これらのアプリケーションで発生するデータ管理の課題についてはほとんど理解されていない。
その結果、マイクロサービスアプリケーションをサポートするためのデータシステム技術の進歩は困難である。
このギャップを埋めるために、既存のベンチマークが十分に対応していない、コアデータ管理の課題を取り入れた、マイクロサービスベンチマークであるOnline Marketplaceを紹介します。
これらの課題には、トランザクション処理、クエリ処理、イベント処理、制約執行、データレプリケーションなどが含まれる。
データシステムとプラットフォーム間で適切な比較を可能にするために、さまざまなデータ管理問題の基準を定義しました。
ベンチマークを指定した後、マイクロサービスの動的状態を正確に反映したワークロード作成で直面した課題を紹介します。
我々はまた、最先端のデータプラットフォームでオンラインマーケットプレースを実装し、基準を満たす際に遭遇した問題についても論じる。
私たちの評価は、このベンチマークが、マイクロサービス実践者が求めている重要な特性をテストするための貴重なツールであることを示している。
その結果、提案したベンチマークにより、将来のデータシステムの設計が容易になり、マイクロサービス実践者の期待に応えることができる。
関連論文リスト
- DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳(メタデータ) (2024-07-01T18:58:22Z) - Benchmarking Data Management Systems for Microservices [1.9948490148513414]
マイクロサービスアーキテクチャは、大規模なデータ集約型アプリケーションをデプロイするための一般的な選択肢である。
既存のマイクロサービスベンチマークには、データ管理の課題が欠如している。
Online Marketplaceは、コアデータ管理要件を受け入れる新しいベンチマークである。
論文 参考訳(メタデータ) (2024-05-19T11:55:45Z) - A microservice architecture for real-time IoT data processing: A
reusable Web of things approach for smart ports [4.612539452170667]
Web of Thingsのパラダイムを使って標準化された、完全に再利用可能なマイクロサービスアーキテクチャを提案する。
本稿では,大気質の監視やスマートポートの警告といった分野において,アーキテクチャの完全再利用可能な実装を提案する。
論文 参考訳(メタデータ) (2024-01-27T11:40:38Z) - Data Acquisition: A New Frontier in Data-centric AI [65.90972015426274]
まず、現在のデータマーケットプレースを調査し、データセットに関する詳細な情報を提供するプラットフォームが不足していることを明らかにする。
次に、データプロバイダと取得者間のインタラクションをモデル化するベンチマークであるDAMチャレンジを紹介します。
提案手法の評価は,機械学習における効果的なデータ取得戦略の必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-11-22T22:15:17Z) - Benchmarks for End-to-End Microservices Testing [2.6245844272542027]
確立された2つのオープンソースのマイクロサービスシステムの完全な機能テストカバレッジを含むテストベンチマークを作成しました。
また、テストの全カバレッジを検証するための最善のアプローチを特定するためのケーススタディも実施しました。
論文 参考訳(メタデータ) (2023-06-09T13:42:53Z) - Quality In / Quality Out: Assessing Data quality in an Anomaly Detection
Benchmark [0.13764085113103217]
同じベンチマークデータセット(異常検出のためのフローベースリアルタイムデータセットであるUGR'16)に対する比較的小さな変更は、考慮した機械学習技術よりも、モデルパフォーマンスに著しく影響することを示します。
この結果から,自律型ネットワークにおけるデータ品質評価と最適化技術に,より注意を払う必要があることが示唆された。
論文 参考訳(メタデータ) (2023-05-31T12:03:12Z) - AI Techniques in the Microservices Life-Cycle: A Survey [10.06596283248616]
マイクロサービスシステムでは、機能性は疎結合の小さなサービスによって提供され、それぞれが特定のビジネス機能に重点を置いています。
アーキテクチャスタイルに従ってシステムを構築することは、主に、どのようにデプロイされ、調整されるかについて、多くの課題をもたらします。
本稿では,人工知能の分野における技術が,これらの課題にどのように取り組んできたかについての調査を行う。
論文 参考訳(メタデータ) (2023-05-25T14:24:37Z) - DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。
私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。
ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
論文 参考訳(メタデータ) (2022-07-20T17:47:54Z) - Video-based Facial Micro-Expression Analysis: A Survey of Datasets,
Features and Algorithms [52.58031087639394]
マイクロ表現は不随意かつ過渡的な表情である。
嘘検出や犯罪検出など、幅広い応用において重要な情報を提供することができる。
マイクロ表現は過渡的で低強度であるため、検出と認識は困難であり、専門家の経験に大きく依存する。
論文 参考訳(メタデータ) (2022-01-30T05:14:13Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳(メタデータ) (2021-12-22T14:45:37Z) - Benchmarks for Deep Off-Policy Evaluation [152.28569758144022]
我々は,政策外の評価のベンチマークに使用できるポリシーの集合を提案する。
私たちのベンチマークの目標は、一連の原則から動機付けられた進歩の標準化された尺度を提供することです。
この領域における今後の研究を促進するために、当社のデータとコードに対するオープンソースアクセスを提供しています。
論文 参考訳(メタデータ) (2021-03-30T18:09:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。