Fugu-MT 論文翻訳(概要): Powering In-Database Dynamic Model Slicing for Structured Data Analytics

論文の概要: Powering In-Database Dynamic Model Slicing for Structured Data Analytics

arxiv url: http://arxiv.org/abs/2405.00568v1
Date: Wed, 1 May 2024 15:18:12 GMT
ステータス: 処理完了
システム内更新日: 2024-05-02 15:27:48.884457
Title: Powering In-Database Dynamic Model Slicing for Structured Data Analytics
Title（参考訳）: 構造化データ解析のためのデータベース内動的スライシングの活用
Authors: Lingze Zeng, Naili Xing, Shaofeng Cai, Gang Chen, Beng Chin Ooi, Jian Pei, Yuncheng Wu,
Abstract要約: LEADSは専門家の混合(MoE)による構造化データのモデリングを改善する INDICESは、従来のソリューションに比べてレイテンシを大幅に削減した、効果的なデータベース内推論を提供する。
参考スコア（独自算出の注目度）: 31.360239181279525
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Relational database management systems (RDBMS) are widely used for the storage and retrieval of structured data. To derive insights beyond statistical aggregation, we typically have to extract specific subdatasets from the database using conventional database operations, and then apply deep neural networks (DNN) training and inference on these respective subdatasets in a separate machine learning system. The process can be prohibitively expensive, especially when there are a combinatorial number of subdatasets extracted for different analytical purposes. This calls for efficient in-database support of advanced analytical methods In this paper, we introduce LEADS, a novel SQL-aware dynamic model slicing technique to customize models for subdatasets specified by SQL queries. LEADS improves the predictive modeling of structured data via the mixture of experts (MoE) technique and maintains inference efficiency by a SQL-aware gating network. At the core of LEADS is the construction of a general model with multiple expert sub-models via MoE trained over the entire database. This SQL-aware MoE technique scales up the modeling capacity, enhances effectiveness, and preserves efficiency by activating only necessary experts via the gating network during inference. Additionally, we introduce two regularization terms during the training process of LEADS to strike a balance between effectiveness and efficiency. We also design and build an in-database inference system, called INDICES, to support end-to-end advanced structured data analytics by non-intrusively incorporating LEADS onto PostgreSQL. Our extensive experiments on real-world datasets demonstrate that LEADS consistently outperforms baseline models, and INDICES delivers effective in-database analytics with a considerable reduction in inference latency compared to traditional solutions.
Abstract（参考訳）: リレーショナルデータベース管理システム(RDBMS)は構造化データの保存と検索に広く利用されている。統計的アグリゲーションを超えて洞察を得るには、通常、従来のデータベース操作を使用してデータベースから特定のサブデータセットを抽出し、それぞれに深層ニューラルネットワーク(DNN)のトレーニングと推論を個別の機械学習システムで適用する必要がある。このプロセスは、特に異なる分析目的のために抽出されたサブデータセットの組合せ数がある場合、違法にコストがかかる可能性がある。本稿では,SQLクエリで指定されたサブデータセットのモデルをカスタマイズする新しいSQL対応動的スライシング技術であるLEADSを紹介する。 LEADSは、専門家(MoE)技法の混合による構造化データの予測モデリングを改善し、SQL対応ゲーティングネットワークによる推論効率を維持する。 LEADSのコアとなるのは、データベース全体を通じてトレーニングされたMoEを介して、複数のエキスパートサブモデルを備えた汎用モデルの構築である。このSQL対応のMoE技術は、推論中にゲーティングネットワークを介して必要な専門家のみを活性化することで、モデリング能力をスケールアップし、効率を向上し、効率を保ちます。さらに、LEADSのトレーニングプロセス中に2つの正規化用語を導入し、有効性と効率のバランスをとる。また、LAADSをPostgreSQLに非侵襲的に組み込むことによって、エンドツーエンドの高度な構造化データ分析をサポートする、INDICESと呼ばれるデータベース内推論システムの設計と構築も行います。実世界のデータセットに関する広範な実験により、LEADSはベースラインモデルより一貫して優れており、INDICESは、従来のソリューションに比べて推論レイテンシを大幅に削減した、効果的なデータベース内分析を提供します。

関連論文リスト

Fitting Multiple Machine Learning Models with Performance Based Clustering [8.763425474439552]
従来の機械学習のアプローチは、データが単一の生成メカニズムから来ると仮定している。本稿では,特徴値と対象値の関係に応じてデータをグループ化することで,この仮定を解消するクラスタリングフレームワークを提案する。フレームワークをストリーミングデータを持つアプリケーションに拡張し、モデルのアンサンブルを使用して結果を生成する。
論文参考訳（メタデータ） (2024-11-10T19:38:35Z)
Synthesizing Text-to-SQL Data from Weak and Strong LLMs [68.69270834311259]
オープンソースとクローズドソースの大規模言語モデル(LLM)の能力ギャップは、テキスト・トゥ・タスクにおいて依然として課題である。より大規模で強力なモデルによって生成されたデータと、より小さく、不整合なモデルによって生成されたエラー情報データを組み合わせた合成データアプローチを導入する。
論文参考訳（メタデータ） (2024-08-06T15:40:32Z)
RelBench: A Benchmark for Deep Learning on Relational Databases [78.52438155603781]
本稿では,グラフニューラルネットワークを用いたデータベース上でタスクを解くための公開ベンチマークであるRelBenchを紹介する。私たちはRelBenchを使って、ディープラーニングインフラストラクチャに関する初の総合的な研究を行っています。 RDLは、人間の作業量を1桁以上削減しながら、より良く学習する。
論文参考訳（メタデータ） (2024-07-29T14:46:13Z)
LAMBDA: A Large Model Based Data Agent [7.240586338370509]
本稿では,LArge Model Based Data Agent (LAMBDA)を紹介する。 LAMBDAは、複雑なデータ駆動アプリケーションにおけるデータ分析の課題に対処するように設計されている。それは、人間と人工知能をシームレスに統合することで、データ分析パラダイムを強化する可能性がある。
論文参考訳（メタデータ） (2024-07-24T06:26:36Z)
Learning Dynamic Bayesian Networks from Data: Foundations, First Principles and Numerical Comparisons [2.403231673869682]
データから動的ベイズネットワーク(DBN)を学習する基礎について紹介する。一般化の形式と、特定の変数分布に対する共通型DBNの集合について述べる。
論文参考訳（メタデータ） (2024-06-25T14:28:17Z)
UQE: A Query Engine for Unstructured Databases [71.49289088592842]
構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
論文参考訳（メタデータ） (2024-06-23T06:58:55Z)
Transformer Architecture for NetsDB [0.0]
我々はNetsDBで機能するディープラーニングモデルのためのトランスフォーマーのエンドツーエンド実装を作成します。分散処理、デプロイメント、効率的な推論のために、当社のモデルから重みをロードします。
論文参考訳（メタデータ） (2024-05-08T04:38:36Z)
Serving Deep Learning Model in Relational Databases [70.53282490832189]
リレーショナルデータ上での深層学習(DL)モデルの実現は、様々な商業分野や科学分野において重要な要件となっている。最先端のDL中心アーキテクチャは、DL計算を専用のDLフレームワークにオフロードします。 UDF中心アーキテクチャの可能性は、リレーショナルデータベース管理システム(RDBMS)内の1つ以上のテンソル計算をユーザ定義関数(UDF)にカプセル化する。
論文参考訳（メタデータ） (2023-10-07T06:01:35Z)
Analytical Engines With Context-Rich Processing: Towards Efficient Next-Generation Analytics [12.317930859033149]
我々は、文脈に富む分析を可能にするコンポーネントと協調して最適化された分析エンジンを構想する。我々は、リレーショナルおよびモデルベース演算子間の総括的なパイプラインコストとルールベースの最適化を目指している。
論文参考訳（メタデータ） (2022-12-14T21:46:33Z)
HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文参考訳（メタデータ） (2022-06-15T19:10:35Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。