論文の概要: Towards a Flexible Scale-out Framework for Efficient Visual Data Query Processing

• arxiv url: http://arxiv.org/abs/2402.03283v1
• Date: Mon, 5 Feb 2024 18:39:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 14:20:57.234668
• Title: Towards a Flexible Scale-out Framework for Efficient Visual Data Query Processing
• Title（参考訳）: 効率的なビジュアルデータクエリ処理のためのフレキシブルスケールアウトフレームワークを目指して
• Authors: Rohit Verma, Arun Raghunath
• Abstract要約: 我々は,ユーザ定義操作をVDMSで実行し,リモートサーバ上でクエリ内で操作を実行する機能を追加するVDMS-Asyncを開発した。 VDMS-Asyncは、既存の最先端システムと比較してクエリ実行時間を2～3倍削減する。
• 参考スコア（独自算出の注目度）: 0.05801621787540266
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: There is growing interest in visual data management systems that support queries with specialized operations ranging from resizing an image to running complex machine learning models. With a plethora of such operations, the basic need to receive query responses in minimal time takes a hit, especially when the client desires to run multiple such operations in a single query. Existing systems provide an ad-hoc approach where different solutions are clubbed together to provide an end-to-end visual data management system. Unlike such solutions, the Visual Data Management System (VDMS) natively executes queries with multiple operations, thus providing an end-to-end solution. However, a fixed subset of native operations and a synchronous threading architecture limit its generality and scalability. In this paper, we develop VDMS-Async that adds the capability to run user-defined operations with VDMS and execute operations within a query on a remote server. VDMS-Async utilizes an event-driven architecture to create an efficient pipeline for executing operations within a query. Our experiments have shown that VDMS-Async reduces the query execution time by 2-3X compared to existing state-of-the-art systems. Further, remote operations coupled with an event-driven architecture enables VDMS-Async to scale query execution time linearly with the addition of every new remote server. We demonstrate a 64X reduction in query execution time when adding 64 remote servers.
• Abstract（参考訳）: 画像のリサイズから複雑な機械学習モデルの実行まで、特殊な操作によるクエリをサポートするビジュアルデータ管理システムへの関心が高まっている。 このような操作の多さにより、クエリ応答を最小限の時間で受信する基本的なニーズは、特にクライアントが単一のクエリで複数の操作を実行したい場合、打撃を受ける。 既存のシステムは、異なるソリューションをまとめて、エンドツーエンドのビジュアルデータ管理システムを提供する、アドホックなアプローチを提供する。 このようなソリューションとは異なり、Visual Data Management System (VDMS)は複数の操作でクエリをネイティブに実行し、エンドツーエンドのソリューションを提供する。 しかし、ネイティブ操作の固定サブセットと同期スレッディングアーキテクチャは、その汎用性と拡張性を制限する。 本稿では,ユーザ定義操作をVDMSで実行し,リモートサーバ上でクエリ内で操作を実行する機能を備えたVDMS非同期を開発する。 vdms-asyncはイベント駆動アーキテクチャを使用して、クエリ内で操作を実行する効率的なパイプラインを作成する。 実験の結果,VDMS-Asyncは既存の最先端システムと比較してクエリ実行時間を2～3倍短縮することがわかった。 さらに、イベント駆動アーキテクチャと結合したリモート操作により、VDMS-Asyncは、新しいリモートサーバを追加してクエリ実行時間を線形にスケールすることができる。 リモートサーバを64台追加した場合のクエリ実行時間の64倍削減を示す。

関連論文リスト

• Is the GPU Half-Empty or Half-Full? Practical Scheduling Techniques for LLMs [3.7758841366694353]
  文献および実用サービスシステムからスケジューリング手法を調査する。 文献からのスケジューラは、しばしば優れたパフォーマンスを得るが、かなりの複雑さをもたらす。 対照的に、実際のデプロイメントにおけるスケジューラは、しばしばテーブルに簡単にパフォーマンス向上を残しますが、実装、デプロイ、設定が容易です。
  論文  参考訳（メタデータ） (2024-10-23T13:05:46Z)
• The Compressor-Retriever Architecture for Language Model OS [20.56093501980724]
  オペレーティングシステム(OS)のコアコンポーネントとして言語モデルを用いるという概念について検討する。 このようなLM OSを実現する上で重要な課題は、寿命の長いコンテキストを管理し、セッション間のステートフルネスを確保することだ。 本稿では,生涯のコンテキスト管理のために設計されたモデル非依存アーキテクチャであるコンプレッサー・レトリバーを紹介する。
  論文  参考訳（メタデータ） (2024-09-02T23:28:15Z)
• Compass: A Decentralized Scheduler for Latency-Sensitive ML Workflows [0.792324422300924]
  我々は、GPU対応のワーカが協調して複雑なクエリを実行する分散システムにおけるMLクエリ処理について検討する。 このようなシステムでは、GPUメモリ管理とタスク配置の共スケジューリングが有望な機会である。 資源を効率的に利用しながら、仕事の遅延を軽減するためにこれらの機能を統一する新しいフレームワークであるCompassを提案する。
  論文  参考訳（メタデータ） (2024-02-27T16:21:28Z)
• MINOTAUR: Multi-task Video Grounding From Multimodal Queries [70.08973664126873]
  長文ビデオにおける問合せに基づくビデオ理解に一貫した単一のモデルを提案する。 特に、我々のモデルは、Ego4D Episodic Memoryベンチマークの3つのタスクすべてに対処できる。
  論文  参考訳（メタデータ） (2023-02-16T04:00:03Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• Multi-Exit Vision Transformer for Dynamic Inference [88.17413955380262]
  視覚変換器のバックボーンの動的推論に使用できる早期出口分岐のための7つの異なるアーキテクチャを提案する。 提案したアーキテクチャのそれぞれが,精度と速度のトレードオフにおいて有用であることを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:01:13Z)
• QueryInst: Parallelly Supervised Mask Query for Instance Segmentation [53.5613957875507]
  本稿では,動的マスクヘッドの並列監視によるクエリベースインスタンスセグメンテーション手法であるqueryinstを提案する。 COCO、CityScapes、YouTube-VISの3つの挑戦的なベンチマークについて広範な実験を行っています。 QueryInstは、すべてのオンラインVISアプローチの中で最高のパフォーマンスを達成し、十分なスピード精度のトレードオフを打ち負かす。
  論文  参考訳（メタデータ） (2021-05-05T08:38:25Z)
• Approximating Aggregated SQL Queries With LSTM Networks [31.528524004435933]
  本稿では、近似クエリ処理(AQP)とも呼ばれるクエリ近似法を提案する。 我々は、LSTMネットワークを用いて、クエリと結果の関係を学習し、クエリ結果を予測するための高速な推論層を提供する。 提案手法では,1秒間に最大12万のクエリを予測でき,クエリのレイテンシは2ms以下であった。
  論文  参考訳（メタデータ） (2020-10-25T16:17:58Z)
• MLCask: Efficient Management of Component Evolution in Collaborative Data Analytics Pipelines [29.999324319722508]
  マシンラーニングパイプラインのデプロイ時に発生する2つの大きな課題に対処し、エンドツーエンド分析システムMLCaskのバージョニング設計で対処する。 我々は,再利用可能な履歴記録とパイプライン互換性情報を用いて,パイプライン探索木を刈り取ることで,メートル法駆動のマージ操作を定義し,高速化する。 MLCaskの有効性は、いくつかの実世界の展開事例に関する広範な研究を通じて評価される。
  論文  参考訳（メタデータ） (2020-10-17T13:34:48Z)
• A Feedback Scheme to Reorder a Multi-Agent Execution Schedule by Persistently Optimizing a Switchable Action Dependency Graph [65.70656676650391]
  複数の自動誘導車両 (AGV) が共通作業空間をナビゲートし, 様々な作業を行う。 一つのアプローチは、Action Dependency Graph (ADG)を構築し、そのルートに沿って進むとAGVの順序を符号化する。 ワークスペースが人間やサードパーティロボットのような動的障害によって共有されている場合、AGVは大きな遅延を経験することができる。 本稿では,各AGVの経路完了時間を最小限に抑えるために,非循環ADGを繰り返し修正するオンライン手法を提案する。
  論文  参考訳（メタデータ） (2020-10-11T14:39:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。