論文の概要: Mathematical Foundations of Modeling ETL Process Chains

• arxiv url: http://arxiv.org/abs/2603.29877v1
• Date: Mon, 09 Feb 2026 09:23:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:13.164727
• Title: Mathematical Foundations of Modeling ETL Process Chains
• Title（参考訳）: ETLプロセスチェーンモデリングの数学的基礎
• Abstract要約: 抽出-変換-ロードプロセスは、現代のデータ処理基盤の中核的なコンポーネントである。 我々は時間集約スループットのレベルで正確であるプロセスチェーンの数学的モデルを開発する。 スレッド数、平均スループット、平均処理時間をリンクするフローバランスを仮定する。
• 参考スコア（独自算出の注目度）: 10.03291311568095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extract-Transform-Load (ETL) processes are core components of modern data processing infrastructures. The throughput of processed data records can be adjusted by changing the amount of allocated resources, i.e.~the number of parallel processing threads for each of the three ETL phases, but also depends on stochastic variations in the per-record processing times. In chains of multiple consecutive ETL processes, the relation between allocated resources and overall throughput is further complicated, for example by the occurrence of bottlenecks affecting all subsequent ETL processes. We develop a mathematical model of ETL process chains that is accurate at the level of time-aggregated throughput and suitable for efficient simulation. The process chain is represented as a controlled discrete-time Markov process on a directed acyclic graph whose edges are individual ETL processes. We model the mean throughput as a bounded, monotone function of the number of parallel threads, to capture the diminishing benefit of allocating more threads. We furthermore introduce a Flow Balance postulate linking number of threads, mean throughput, and mean processing time. The stochastic processing times are then modeled by non-negative heavy-tailed distributions around the mean processing time. This framework provides a principled simulator for ETL networks and a foundation for learning- and control-based resource allocation.
• Abstract（参考訳）: Extract-Transform-Load(ETL)プロセスは、現代のデータ処理基盤の中核的なコンポーネントである。 処理されたデータレコードのスループットは、割り当てられたリソースの量、すなわち3つのETLフェーズ毎の並列処理スレッドの数を変更することで調整できるが、記録毎の処理時間の確率的変動にも依存する。 複数のETLプロセスの連鎖では、リソース割り当てと全体的なスループットの関係はさらに複雑である。 本研究では,ETLプロセスチェーンの時間集約スループットのレベルで精度が高く,効率的なシミュレーションに適した数学的モデルを構築した。 プロセスチェーンは、エッジが個々のETLプロセスである有向非環状グラフ上の制御された離散時間マルコフプロセスとして表現される。 我々は、平均スループットを並列スレッド数の有界単調関数としてモデル化し、より多くのスレッドを割り当てる利点の減少を捉える。 さらに、スレッド数、平均スループット、平均処理時間をリンクするFlow Balanceの仮定を導入する。 確率処理時間は、平均処理時間付近の非負の重み付き分布によってモデル化される。 このフレームワークは、ETLネットワークの原理化されたシミュレーターと、学習と制御に基づくリソース割り当ての基礎を提供する。

関連論文リスト

• Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
  ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。 Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
  論文  参考訳（メタデータ） (2026-03-23T17:01:42Z)
• Para-B&B: Load-Balanced Deterministic Parallelization of Solving MIP [50.917107318582715]
  MIP(Mixed-integer Programming)は、連続型と整数型の両方の決定変数を組み込むことで線形プログラミングを拡張する。 本稿では,高性能MIPソルバであるHiGHSに対して,決定論的並列分岐結合の完全なオープンソース実装を初めて提案する。 本手法では,ワーカスレッド間で完全なソルバ状態を複製することにより,厳密な決定性を保証する新しいデータ並列アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-02-10T14:17:53Z)
• Causify DataFlow: A Framework For High-performance Machine Learning Stream Computing [0.0]
  我々は、無制限の時系列データ上に機械学習システムを構築し、テストし、デプロイするための計算フレームワークであるDataFlowを紹介する。 従来のデータサイエンスは有限データセットを前提としており、バッチプロトタイプからストリーミングプロダクションシステムに移行する際には、かなりの再実装が必要である。 DataFlowは、ポイント・イン・タイムの理想性を持つ非循環グラフに基づいて、これらの問題を統一された実行モデルで解決する。
  論文  参考訳（メタデータ） (2025-12-30T04:24:04Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• Speculative Sampling for Parametric Temporal Point Processes [9.15731236208975]
  時間点過程はイベントシーケンスの強力な生成モデルである。 それらは一般的に、前のイベントから次のイベントの分布を学ぶ自動回帰モデルを使って指定される。 本稿では、既存のTPPモデルから複数の将来の値の正確なサンプリングを可能にする、リジェクションサンプリングに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-10-22T21:20:26Z)
• Edit-Based Flow Matching for Temporal Point Processes [51.33476564706644]
  時間的ポイントプロセス(TPP)は、イベントシーケンスを連続的にモデル化するための基本的なツールである。 最近の非自己回帰拡散型モデルでは、ノイズとデータとの連立補間によってこれらの問題を緩和している。 本稿では,TPPの編集操作を挿入,削除,置換することで,ノイズをデータに転送する編集フロープロセスを提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:44:12Z)
• AsyncFlow: An Asynchronous Streaming RL Framework for Efficient LLM Post-Training [24.60677187852425]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練後の段階において重要な技術となっている。 従来のタスクコロケーションのRLフレームワークは、大きなスケーラビリティのボトルネックに悩まされている。 タスク分離RLフレームワークは、複雑なデータフローとそれに対応するリソースアイドリングとワークロードの不均衡の課題に直面します。 本稿では,非同期ストリーミングRLフレームワークであるAsyncFlowを提案する。
  論文  参考訳（メタデータ） (2025-07-02T12:45:34Z)
• The Streaming Batch Model for Efficient and Fault-Tolerant Heterogeneous Execution [28.768566833298365]
  異種バッチ推論パイプラインのスループットを2.5～12$times$で向上するストリーミングバッチシステムであるRay Dataを紹介します。 Ray Dataは、シングルノードMLデータローダと比較して、安定拡散のようなマルチモーダルモデルのトレーニングスループットを31%改善する。
  論文  参考訳（メタデータ） (2025-01-16T19:54:01Z)
• CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
  MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。 分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。 CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-03-12T04:04:38Z)
• Latent Iterative Refinement for Modular Source Separation [44.78689915209527]
  従来のソース分離アプローチは、すべてのデータを一度に利用できるように、ディープニューラルネットワークモデルをエンドツーエンドにトレーニングする。 我々は、トレーニングと推論の段階において、リソース効率を著しく向上させることができると論じる。
  論文  参考訳（メタデータ） (2022-11-22T00:02:57Z)
• CoCoMoT: Conformance Checking of Multi-Perspective Processes via SMT (Extended Version) [62.96267257163426]
  我々はCoCoMoT(Computing Conformance Modulo Theories)フレームワークを紹介する。 まず、純粋な制御フロー設定で研究したSATベースのエンコーディングを、データ認識ケースに持ち上げる方法を示す。 次に,プロパティ保存型クラスタリングの概念に基づく新しい前処理手法を提案する。
  論文  参考訳（メタデータ） (2021-03-18T20:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。