論文の概要: Transactional Data Change for Real-Time Analytics in Lakehouses
- arxiv url: http://arxiv.org/abs/2611.12169v2
- Date: Wed, 11 Nov 2026 03:53:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.886459
- Title: Transactional Data Change for Real-Time Analytics in Lakehouses
- Title(参考訳): 湖沼におけるリアルタイム分析のためのトランザクションデータの変化
- Abstract要約: 本研究では,レイクハウスにおけるリアルタイム,費用効率,クエリパフォーマンス,トランザクションデータを完全に変更可能な新しいデータ同期フレームワークであるRetinaを提案する。
我々は、Retinaを実装し、オープンソース化した。評価によると、Retinaは10ミリ秒レベルのデータの鮮度と3200万行/秒のリニアスケーラブルなデータ変更スループットを提供する。
- 参考スコア(独自算出の注目度): 3.623615810925726
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Real-time data analytics has become a key demand for lakehouses. It requires propagating data changes from the data source to the lakehouse in real time, while ensuring ACID guarantees and minimizing resource consumption and impact on analytical query performance. This is highly challenging for a data system according to the RUM conjecture, especially given the read-optimized immutable file storage layer in lakehouses. Existing lakehouses offer only git-style catalog version control on a single table, and they trade data freshness, query performance, and/or resource efficiency to achieve a barely acceptable data-change throughput. In this paper, we propose a novel data synchronization framework, Retina, that enables real-time, cost-efficient, query-performant, and fully transactional data changes in lakehouses. We implement and open-source Retina. Evaluations show that Retina delivers 10-millisecond-level data freshness and over 3.2 million row/s linear-scalable data-change throughput with low resource consumption and query-performance overhead, significantly outperforming state-of-the-art lakehouse systems and lake-compatible HTAP databases.
- Abstract(参考訳): リアルタイムデータ分析は、レイクハウスにとって重要な需要となっている。
データソースからレイクハウスへのデータ変更をリアルタイムで伝達し、ACIDの保証とリソース消費の最小化と分析クエリのパフォーマンスへの影響を保証する必要があります。
RUM予想によれば、これは、特にレイクハウスの読み取り最適化不変ファイルストレージ層を考えると、データシステムにとって非常に困難である。
既存のレイクハウスは、単一のテーブル上でgitスタイルのカタログバージョンコントロールのみを提供し、データ更新性、クエリパフォーマンス、および/またはリソース効率を交換することで、ほとんど許容できないデータ変更スループットを実現する。
本稿では,レークハウスにおけるリアルタイム,費用効率,クエリパフォーマンス,および完全なトランザクションデータ変更を可能にする新しいデータ同期フレームワークであるRetinaを提案する。
私たちはRetinaを実装し、オープンソースにしています。
評価によると、Retinaは1000ミリ秒レベルのデータの鮮度と3200万行/秒以上のリニアスケーラブルなデータ変更スループットを提供し、リソース消費とクエリパフォーマンスのオーバーヘッドが低く、最先端のレイクハウスシステムや湖岸互換のHTAPデータベースよりも大幅に向上している。
関連論文リスト
- OGDA: Ontology-Grounded Data Agents for Reliable Analysis over Heterogeneous Data Lakes [52.18085204294544]
実世界のデータレイク上での完全なパイプラインデータ分析では、LCMエージェントが異なるスキーマでテーブル間で情報を発見、統合する必要がある。
既存のデータエージェントはタスク固有の探索に従い、巨大な湖のコンテキストウィンドウを浪費する。
我々は,オントロジー・グラウンドド・データ・エージェント(OGDA)を導入し,探索オーバーヘッドと制約データ処理の削減にコンパクトなオントロジーを利用する。
論文 参考訳(メタデータ) (2026-11-09T09:26:35Z) - "Skill issues'': data-centric optimization of lakehouse agents [2.8558664643005525]
本研究では,バプラン湖の分水池で作業するエージェントのアーティファクトを最適化する方法を示す。
本稿では,タスク検証ペアを生成し,サンドボックス内の候補スキルを実行し,トレースレベル信号とレイクハウス状態のプログラムチェックを用いてトラジェクトリをスコアするデータ中心最適化パイプラインを提案する。
論文 参考訳(メタデータ) (2026-05-31T11:58:04Z) - LakeHopper: Cross Data Lakes Column Type Annotation through Model Adaptation [18.72484471043965]
カラム型アノテーションは、データのクリーニング、統合、可視化といったタスクに不可欠である。
最近のソリューションは、特定のテーブルの集合からよく注釈付けされた列に微調整されたリソース集約型言語モデルに依存している。
我々は,LMインタラクションを通じて知識ギャップを特定し,解決するフレームワークであるLakeHopperを提案する。
論文 参考訳(メタデータ) (2026-02-09T15:30:07Z) - ReGUIDE: Data Efficient GUI Grounding via Spatial Reasoning and Search [53.40810298627443]
ReGUIDEは、MLLMが自己生成的推論と空間認識的批判を通じてデータを効率的に学習することを可能にするWebグラウンドのためのフレームワークである。
実験により、ReGUIDEは複数のベンチマークでWebグラウンド性能を大幅に向上することが示された。
論文 参考訳(メタデータ) (2025-05-21T08:36:18Z) - Data-Juicer 2.0: Cloud-Scale Adaptive Data Processing for and with Foundation Models [83.65386456026441]
Data-Juicer 2.0は、テキスト、画像、ビデオ、オーディオのモダリティにまたがる100以上のデータ処理オペレータがバックアップするデータ処理システムである。
データ分析、合成、アノテーション、基礎モデルのポストトレーニングなど、より重要なタスクをサポートする。
このシステムは公開されており、さまざまな研究分野やAlibaba Cloud PAIのような現実世界の製品で広く採用されている。
論文 参考訳(メタデータ) (2024-12-23T08:29:57Z) - Reproducible data science over data lakes: replayable data pipelines with Bauplan and Nessie [5.259526087073711]
我々はNessieと共にクラウドランタイムを活用することにより、計算とデータ管理を分離するように設計されたシステムを導入する。
オブジェクトストレージ上にタイムトラベラとブランチのセマンティクスを提供する機能を示し、CLIコマンドで完全なパイプラインを提供する。
論文 参考訳(メタデータ) (2024-04-21T14:53:33Z) - Scaling Laws for Data Filtering -- Data Curation cannot be Compute Agnostic [99.3682210827572]
ビジョン言語モデル(VLM)は、慎重にキュレートされたWebデータセット上で数千のGPU時間でトレーニングされる。
データキュレーション戦略は通常、トレーニングに利用可能な計算を知らないように開発されている。
ウェブデータの非均一性を考慮したニューラルスケーリング法則を導入する。
論文 参考訳(メタデータ) (2024-04-10T17:27:54Z) - Optimizing LLM Queries in Relational Data Analytics Workloads [50.95919232839785]
バッチデータ分析は、Large Language Models(LLMs)の急成長するアプリケーションである
LLMは、分類、エンティティ抽出、翻訳などの幅広い自然言語タスクを、大規模なデータセット上で実行可能にする。
本稿では,LLMコールによるリレーショナルデータ解析処理のコストを大幅に削減できる新しい手法を提案する。
論文 参考訳(メタデータ) (2024-03-09T07:01:44Z) - Deep Lake: a Lakehouse for Deep Learning [0.0]
Deep Lakeは、Activeloopで開発されたディープラーニングアプリケーションのためのオープンソースのレイクハウスである。
本稿では,Activeloopで開発されたディープラーニングアプリケーションのためのオープンソースのレイクハウスであるDeep Lakeについて述べる。
論文 参考訳(メタデータ) (2022-09-22T05:04:09Z) - Lifelong Property Price Prediction: A Case Study for the Toronto Real
Estate Market [75.28009817291752]
自動資産評価のための最初の寿命予測モデルであるLuceを提示する。
ルースは不動産価格の2つの重要な問題に対処している。
トロント不動産市場から得られた大規模な実生活データセットにLuceを適用することで,Luceのメリットを実証する。
論文 参考訳(メタデータ) (2020-08-12T07:32:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。