論文の概要: Large-Scale Intelligent Microservices

• arxiv url: http://arxiv.org/abs/2009.08044v3
• Date: Thu, 2 Dec 2021 20:09:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 09:00:27.814354
• Title: Large-Scale Intelligent Microservices
• Title（参考訳）: 大規模インテリジェントマイクロサービス
• Authors: Mark Hamilton, Nick Gonsalves, Christina Lee, Anand Raman, Brendan Walsh, Siddhartha Prasad, Dalitso Banda, Lucy Zhang, Mei Gao, Lei Zhang, William T. Freeman
• Abstract要約: 我々は、データベース操作を拡張してWebサービスプリミティブを含むApache Sparkベースのマイクロサービスオーケストレーションフレームワークを紹介します。 音声、視覚、検索、異常検出、テキスト分析などのインテリジェントなサービスに対して大規模なクライアントを提供する。
• 参考スコア（独自算出の注目度）: 24.99695289157708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying Machine Learning (ML) algorithms within databases is a challenge due to the varied computational footprints of modern ML algorithms and the myriad of database technologies each with its own restrictive syntax. We introduce an Apache Spark-based micro-service orchestration framework that extends database operations to include web service primitives. Our system can orchestrate web services across hundreds of machines and takes full advantage of cluster, thread, and asynchronous parallelism. Using this framework, we provide large scale clients for intelligent services such as speech, vision, search, anomaly detection, and text analysis. This allows users to integrate ready-to-use intelligence into any datastore with an Apache Spark connector. To eliminate the majority of overhead from network communication, we also introduce a low-latency containerized version of our architecture. Finally, we demonstrate that the services we investigate are competitive on a variety of benchmarks, and present two applications of this framework to create intelligent search engines, and real-time auto race analytics systems.
• Abstract（参考訳）: データベースに機械学習(ML)アルゴリズムをデプロイすることは、現代のMLアルゴリズムの様々な計算フットプリントと、そのそれぞれに制約のある構文を持つ無数のデータベース技術のために難しい。 我々は、データベース操作を拡張してWebサービスプリミティブを含むApache Sparkベースのマイクロサービスオーケストレーションフレームワークを紹介します。 私たちのシステムは数百台のマシンにまたがってwebサービスをオーケストレーションし、クラスタ、スレッド、非同期並列処理を最大限に活用します。 このフレームワークを用いて,音声,視覚,探索,異常検出,テキスト解析などのインテリジェントなサービスに対して大規模クライアントを提供する。 これにより、Apache Sparkコネクタを使って、任意のデータストアに使用可能なインテリジェンスを統合することが可能になる。 ネットワーク通信のオーバーヘッドの大部分を排除するため、アーキテクチャの低レイテンシコンテナ化バージョンも導入しています。 最後に、調査対象のサービスが様々なベンチマークで競合していることを示し、インテリジェント検索エンジンとリアルタイム自動レース分析システムを構築するためのこのフレームワークの2つの応用を提示する。

関連論文リスト

• UQE: A Query Engine for Unstructured Databases [71.49289088592842]
  構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。 本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
  論文  参考訳（メタデータ） (2024-06-23T06:58:55Z)
• GEqO: ML-Accelerated Semantic Equivalence Detection [3.5521901508676774]
  クラスタリソースの効率的な利用とジョブ実行時間の削減には,共通計算が不可欠だ。 大規模分析エンジンの等価性を検出するには、完全に自動化された効率的でスケーラブルなソリューションが必要である。 本稿では,大規模で意味論的に等価な計算を効率的に識別する,ポータブルで軽量な機械学習ベースのフレームワークであるGEqOを提案する。
  論文  参考訳（メタデータ） (2024-01-02T16:37:42Z)
• CLAID: Closing the Loop on AI & Data Collection -- A Cross-Platform Transparent Computing Middleware Framework for Smart Edge-Cloud and Digital Biomarker Applications [2.953239144917]
  CLAIDは,Android,iOS,WearOS,Linux,Windowsと互換性のある透過型コンピューティングをベースとしたオープンソースフレームワークである。 各種センサからのデータ収集と機械学習モデルの展開のためのモジュールを提供する。 本稿では,デプロイされた機械学習モデルを検証するための新しい手法"ML-Model in the Loop"を提案する。
  論文  参考訳（メタデータ） (2023-10-09T11:56:51Z)
• A comparison between traditional and Serverless technologies in a microservices setting [0.0]
  本研究では、異なる技術を使用して、同じマイクロサービスアプリケーションの9つのプロトタイプを実装します。 私たちはAmazon Web Servicesを使い、より伝統的なデプロイメント環境(Kubernetes)を使用するアプリケーションから始めます。 サーバレスアーキテクチャへの移行は、AWS ECS Fargate、AWS、DynamoDBDBなど、さまざまなテクノロジの使用による影響(コストとパフォーマンスの両方)を組み合わせて、分析することによって行われる。
  論文  参考訳（メタデータ） (2023-05-23T10:56:28Z)
• MOSAIC, acomparison framework for machine learning models [0.0]
  MOSAICは、機械学習モデルのためのPythonプログラムである。 これにより、任意のネットワークアーキテクチャの実装とテストが簡単で、高速で、エラーの少ないものになる。
  論文  参考訳（メタデータ） (2023-01-30T15:29:24Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• ESAI: Efficient Split Artificial Intelligence via Early Exiting Using Neural Architecture Search [6.316693022958222]
  ディープニューラルネットワークは、多くのコンピュータビジョン関連タスクにおいて、従来の機械学習アルゴリズムよりも優れています。 大部分のデバイスは、優れたディープラーニングモデルがサーバー上のデータを解析する責任を負う、クラウドコンピューティングの方法論を活用しています。 本稿では、クラウドとオンデバイスモデルの両方を活用可能な、IoTデバイスにデプロイするための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T04:47:53Z)
• CREPO: An Open Repository to Benchmark Credal Network Algorithms [78.79752265884109]
  クレダルネットワークは、確率質量関数の集合であるクレダルに基づく不正確な確率的グラフィカルモデルである。 CREMAと呼ばれるJavaライブラリが最近リリースされ、クレダルネットワークをモデル化し、処理し、クエリする。 我々は,これらのモデル上での推論タスクの正確な結果とともに,合成クレダルネットワークのオープンリポジトリであるcrrepoを提案する。
  論文  参考訳（メタデータ） (2021-05-10T07:31:59Z)
• A Privacy-Preserving Distributed Architecture for Deep-Learning-as-a-Service [68.84245063902908]
  本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。 クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
  論文  参考訳（メタデータ） (2020-03-30T15:12:03Z)
• PyODDS: An End-to-end Outlier Detection System with Automated Machine Learning [55.32009000204512]
  PyODDSは、データベースサポート付きアウトレイラ検出のための、エンドツーエンドのPythonシステムである。 具体的には,探索空間を外乱検出パイプラインで定義し,与えられた探索空間内で探索戦略を作成する。 また、データサイエンスや機械学習のバックグラウンドの有無に関わらず、統一されたインターフェイスと視覚化を提供する。
  論文  参考訳（メタデータ） (2020-03-12T03:30:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。