論文の概要: A Multi-Layer Testing Framework for Automated Data Quality Assurance in Cloud-Native ELT Pipelines
- arxiv url: http://arxiv.org/abs/2605.20500v1
- Date: Tue, 19 May 2026 21:12:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.381692
- Title: A Multi-Layer Testing Framework for Automated Data Quality Assurance in Cloud-Native ELT Pipelines
- Title（参考訳）: Cloud-Native ELT Pipelinesにおけるデータ品質自動保証のための多層テストフレームワーク
- Authors: Ismail Gargouri, Hassan Reza,
- Abstract要約: 本稿では,抽出-ロード-変換パイプラインのための統合多層テストフレームワークを提案する。
オーケストレーションレベルの検証、宣言型dbtテスト、大規模言語モデル(LLM)生成セマンティックテスト、ストア間の一貫性チェックを統合している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ensuring data quality in cloud-native Extract-Load-Transform (ELT) pipelines is increasingly challenging due to heterogeneous data sources, evolving schemas, and multi-backend execution environments. This paper presents a unified, multi-layer testing framework that integrates orchestration-level validation, declarative dbt tests, large language model (LLM)-generated semantic tests, and cross-store consistency checking between DuckDB and Snowflake, orchestrated through Apache Airflow. Controlled anomaly-injection experiments demonstrate that a manual-only baseline detected 7 of 16 injected anomalies. In contrast, both a manually expanded comparator and the proposed LLM-augmented configuration detected all 16, representing a 128.57% relative improvement in detection rate over the baseline. Post-migration cross-store validation confirmed exact agreement across all three curated tables. Of 25 LLM-generated test assertions, 9 were classified as useful, 4 as redundant, and 12 as executable but low-value. The complete workflow executed in 106.58 seconds across eight instrumented pipeline stages. These results demonstrate that LLM-driven semantic test synthesis can materially strengthen validation coverage while remaining operationally practical for production ELT environments.
- Abstract（参考訳）: クラウドネイティブなExtract-Load-Transform(ELT)パイプラインにおけるデータ品質の保証は、異種データソース、スキーマの進化、マルチバックエンド実行環境などにより、ますます困難になっている。
本稿では,オーケストレーションレベルの検証,宣言型dbtテスト,大規模言語モデル(LLM)生成セマンティックテスト,Apache Airflowを通じてオーケストレーションされたDuckDBとSnowflake間のクロスストア整合性チェックを統合した,統合された多層テストフレームワークを提案する。
制御された異常注入実験では、手動のみのベースラインが16の異常を検出できた。
対照的に、手動で拡張されたコンパレータと提案されたLLM拡張構成の両方が16のすべてを検出し、ベースラインに対する検出率が128.57%向上した。
移行後のクロスストアの検証は、3つのキュレートされたテーブルすべてで正確な一致を確認した。
LLMで生成したテストアサーションのうち、9つは有用、4は冗長、12は実行可能、低値と分類された。
完全なワークフローは、計8つのパイプラインステージで106.58秒で実行された。
これらの結果から,LLMによるセマンティックテスト合成は実運用環境において実用的でありながら,検証範囲を大幅に強化できることが示された。
関連論文リスト
- Logic-Regularized Verifier Elicits Reasoning from LLMs [63.65875399266337]
論理規則で正規化された教師なしの検証器であるLOVERを提案する。
ローバーは、定理を二項潜在変数として扱い、内部の活性化を活用し、3つの論理的制約を課す。
ローバーは教師なしのベースラインを大幅に上回る。
論文 参考訳（メタデータ） (2026-05-07T09:03:49Z) - Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。
本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。
本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
論文 参考訳（メタデータ） (2026-04-27T09:00:30Z) - Explainable Semantic Textual Similarity via Dissimilar Span Detection [53.32175252285023]
テキストのペア間で意味的に異なるスパンを識別することを目的として,DSD(Dissimilar Span Detection)タスクを導入する。
これにより、ユーザーはどの特定の単語やトークンが類似度スコアに悪影響を及ぼすかを理解したり、STS依存のダウンストリームタスクのパフォーマンス向上に使用することができる。
論文 参考訳（メタデータ） (2026-03-22T11:32:31Z) - Synthesizing File-Level Data for Unit Test Generation with Chain-of-Thoughts via Self-Debugging [40.29934051200609]
本稿では,高品質なUTトレーニングを実現するための新しいデータ蒸留手法を提案する。
このパイプラインをオープンソースプロジェクトの大規模なコーパスに適用します。
実験により, 微調整モデルにより, UT生成効率が高いことを示す。
論文 参考訳（メタデータ） (2026-02-03T06:52:54Z) - Fixturize: Bridging the Fixture Gap in Test Generation [31.82935387488973]
Fixturizeは、フィクスチャに依存した機能を積極的に識別する診断フレームワークである。
反復的なフィードバック駆動プロセスを通じてテストフィクスチャを合成する。
論文 参考訳（メタデータ） (2026-01-10T16:47:32Z) - Automated Network Protocol Testing with LLM Agents [18.102379194660543]
NeTestLLMは、エンドツーエンドのネットワークプロトコルテストにマルチエージェント大規模言語モデル(LLM)を利用する。
実験では、NeTestLLMはOSPF、RIP、BGPで4,632件のテストケースを生成し、41の歴史的FRRoutingバグを現在の国家標準で11件と比較した。
論文 参考訳（メタデータ） (2025-10-15T07:55:15Z) - Unit Test Update through LLM-Driven Context Collection and Error-Type-Aware Refinement [5.8748750353007635]
テストのメンテナンス方法は、主に壊れたテストの修復に焦点を当て、新しい機能を検証するために既存のテストを強化するシナリオを無視します。
実運用コードの変更に応じて、ジャスト・イン・タイムの自動テスト更新を可能にする新しいアプローチであるTESTUPDATERを提案する。
TestUPDATERは94.4%のコンパイルパス率と86.7%のテストパス率を達成し、それぞれ最先端のSYTERを15.9%と20.0%で上回っている。
論文 参考訳（メタデータ） (2025-09-29T08:08:22Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - Test smells in LLM-Generated Unit Tests [16.061139428298986]
本稿では, LLM 生成単体試験におけるテスト臭拡散の大規模解析法として, マルチベンチマークを初めて提案する。
本研究では,4つのLCM(GPT-3.5,GPT-4,Mistral 7B,Mixtral 8x7B)から20,505のクラスレベルスイート,TestBenchから972のメソッドレベルケース,14,469のEvoSuiteテスト,34,635のオープンソースJavaプロジェクトから779,585の人書きテストについて検討した。
論文 参考訳（メタデータ） (2024-10-14T15:35:44Z) - FVEL: Interactive Formal Verification Environment with Large Language Models via Theorem Proving [53.43068330741449]
大規模言語モデル(LLM)を用いた対話型形式検証環境FVELを提案する。
FVELは、検証対象のコードをIsabelleに変換し、LLMで証明された神経自動定理を用いて検証を行う。
FVELERデータセットには、Isabelleで定式化されたコード依存関係と検証プロセスが含まれており、758の理論、29,125のレムマ、200,646の証明ステップが含まれている。
論文 参考訳（メタデータ） (2024-06-20T15:31:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。