論文の概要: OpenMLDB: A Real-Time Relational Data Feature Computation System for Online ML

• arxiv url: http://arxiv.org/abs/2501.08591v1
• Date: Wed, 15 Jan 2025 05:20:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:52:57.063211
• Title: OpenMLDB: A Real-Time Relational Data Feature Computation System for Online ML
• Title（参考訳）: OpenMLDB:オンラインMLのためのリアルタイムリレーショナルデータ特徴計算システム
• Authors: Xuanhe Zhou, Wei Zhou, Liguo Qi, Hao Zhang, Dihao Chen, Bingsheng He, Mian Lu, Guoliang Li, Fan Wu, Yuqiang Chen,
• Abstract要約: 本稿では,4ParadigmのSageOneプラットフォームにデプロイされた機能計算システムであるOpenMLDBを提案する。 技術的には、OpenMLDBは最初、オフラインおよびオンラインステージにわたる一貫した計算結果に統一的なクエリプランジェネレータを使用する。 OpenMLDBは、長いウィンドウ計算によるパフォーマンスボトルネックを解決するオンライン実行エンジンを提供する。
• 参考スコア（独自算出の注目度）: 35.15348680407141
• License:
• Abstract: Efficient and consistent feature computation is crucial for a wide range of online ML applications. Typically, feature computation is divided into two distinct phases, i.e., offline stage for model training and online stage for model serving. These phases often rely on execution engines with different interface languages and function implementations, causing significant inconsistencies. Moreover, many online ML features involve complex time-series computations (e.g., functions over varied-length table windows) that differ from standard streaming and analytical queries. Existing data processing systems (e.g., Spark, Flink, DuckDB) often incur multi-second latencies for these computations, making them unsuitable for real-time online ML applications that demand timely feature updates. This paper presents OpenMLDB, a feature computation system deployed in 4Paradigm's SageOne platform and over 100 real scenarios. Technically, OpenMLDB first employs a unified query plan generator for consistent computation results across the offline and online stages, significantly reducing feature deployment overhead. Second, OpenMLDB provides an online execution engine that resolves performance bottlenecks caused by long window computations (via pre-aggregation) and multi-table window unions (via data self-adjusting). It also provides a high-performance offline execution engine with window parallel optimization and time-aware data skew resolving. Third, OpenMLDB features a compact data format and stream-focused indexing to maximize memory usage and accelerate data access. Evaluations in testing and real workloads reveal significant performance improvements and resource savings compared to the baseline systems. The open community of OpenMLDB now has over 150 contributors and gained 1.6k stars on GitHub.
• Abstract（参考訳）: 効率的な一貫した特徴計算は、幅広いオンラインMLアプリケーションにとって不可欠である。 通常、特徴計算は2つの異なるフェーズ、すなわちモデルトレーニングのオフラインステージとモデル提供のオンラインステージに分けられる。 これらのフェーズは、しばしば異なるインタフェース言語と関数の実装を持つ実行エンジンに依存しており、重大な矛盾を引き起こしている。 さらに、多くのオンラインML機能は、標準的なストリーミングや分析クエリとは異なる複雑な時系列計算(例えば、様々な長さのテーブルウィンドウ上の関数)を含んでいる。 既存のデータ処理システム(Spark、Flink、DuckDBなど)は、これらの計算に複数秒のレイテンシを発生させることが多いため、タイムリーな機能更新を要求するリアルタイムのオンラインMLアプリケーションには適さない。 本稿では,4ParadigmのSageOneプラットフォームにデプロイされた機能計算システムであるOpenMLDBと,100以上の実シナリオについて述べる。 技術的には、OpenMLDBは最初、オフラインおよびオンラインステージにわたる一貫した計算結果に統一的なクエリプランジェネレータを使用しており、機能デプロイメントのオーバーヘッドを大幅に削減している。 第2に、OpenMLDBは、(事前集約による)長いウィンドウ計算と(データ自己調整による)マルチテーブルウィンドウ結合によるパフォーマンスボトルネックを解決する、オンライン実行エンジンを提供する。 また、ウィンドウ並列最適化とタイムアウェアなデータスキュー解決を備えた高性能なオフライン実行エンジンも提供する。 第三に、OpenMLDBは、メモリ使用量の最大化とデータアクセスの高速化のために、コンパクトなデータフォーマットとストリーム中心のインデックス機能を備えている。 テストと実際のワークロードの評価では、ベースラインシステムと比較して、大幅なパフォーマンス向上とリソース節約が示されている。 OpenMLDBのオープンコミュニティは現在150以上のコントリビュータを抱えており、GitHubで1.6kのスターを獲得している。

関連論文リスト

• LoongServe: Efficiently Serving Long-Context Large Language Models with Elastic Sequence Parallelism [12.521026493432181]
  既存の大規模言語モデル(LLM)は、異なるフェーズにおける可変長要求を効率的に提供できない。 本稿では,異なる要求と位相の分散に対応するために,新しい並列性パラダイムである弾性列並列性(ESP)を提案する。 LoongServeは、チャンクプレフィルと比較して最大スループットを最大3.85$times$、プリフィルデコードデアグリゲーションと比較して5.81$times$に改善する。
  論文  参考訳（メタデータ） (2024-04-15T07:45:04Z)
• Optimizing LLM Queries in Relational Workloads [58.254894049950366]
  本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。 私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。 実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
  論文  参考訳（メタデータ） (2024-03-09T07:01:44Z)
• Distributed Inference and Fine-tuning of Large Language Models Over The Internet [91.00270820533272]
  大規模言語モデル(LLM)は、多くのNLPタスクで有用であり、サイズが向上する。 これらのモデルはハイエンドのハードウェアを必要とするため、ほとんどの研究者にはアクセスできない。 本研究では,システムスループットの最大化のためにデバイスを自動的に割り当てるフォールトトレラント推論アルゴリズムとロードバランシングプロトコルを開発する。
  論文  参考訳（メタデータ） (2023-12-13T18:52:49Z)
• Automatic Task Parallelization of Dataflow Graphs in ML/DL models [0.0]
  本稿では,MLデータフローグラフに固有の並列パスを利用する線形クラスタリング手法を提案する。 我々はONNX形式で入力MLモデルから可読かつ実行可能な並列Pytorch+Pythonコードを生成する。 いくつかのMLグラフの予備結果は、シリアル実行よりも1.9$times$スピードアップである。
  論文  参考訳（メタデータ） (2023-08-22T04:54:30Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• Efficient Multi-stage Inference on Tabular Data [1.6371451481715193]
  従来型の知恵は、MLコードをRPC API経由で製品コードによってクエリされるサービスに分離することを好む。 推論アルゴリズムを単純化し、それらを製品コードに組み込んでネットワーク通信を減らします。 トレーニングと推論の両方にAutoMLによる最適化を適用することで、推論遅延を1.3倍、CPUリソースを30%削減し、アプリケーションフロントエンドとMLバックエンド間のネットワーク通信を約50%削減します。
  論文  参考訳（メタデータ） (2023-03-21T04:01:55Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)
• Walle: An End-to-End, General-Purpose, and Large-Scale Production System for Device-Cloud Collaborative Machine Learning [40.09527159285327]
  We build the first end-to-end and general-purpose system, called Walle, for device-cloud collaborative machine learning (ML) Walleはデプロイメントプラットフォームで構成され、MLタスクを10億規模のデバイスに分散する。データパイプラインはタスク入力を効率的に準備し、計算コンテナはクロスプラットフォームで高性能な実行環境を提供する。 我々はWalleを実践的なeコマースアプリケーションシナリオで評価し、その有効性、効率、スケーラビリティを実証する。
  論文  参考訳（メタデータ） (2022-05-30T03:43:35Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。