論文の概要: A Model-Driven Pipeline for Data Quality Specification and Operationalization: A No-Code Approach for Domain Experts
- arxiv url: http://arxiv.org/abs/2607.24245v1
- Date: Mon, 27 Jul 2026 10:32:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.383797
- Title: A Model-Driven Pipeline for Data Quality Specification and Operationalization: A No-Code Approach for Domain Experts
- Title(参考訳): データ品質の仕様と運用のためのモデル駆動パイプライン: ドメインエキスパートのためのノーコードアプローチ
- Abstract要約: データ品質制約を形式化し、運用するためのパイプラインを提案する。
再利用可能な品質分析のためのテンプレートを定義するメタモデルであるQPMを用いて、このパイプラインをサポートします。
Constrainifyはテンプレートを特定の概念的な要件に合わせて調整し、実行可能な品質分析に変換することを可能にする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High-quality data is essential for reliable analysis, decision-making, and research across domains. This is especially relevant in areas such as cultural heritage, where data is collected and curated manually, making it prone to quality issues like inconsistencies. To improve data quality, the data must be analyzed regularly using systematic quality analyses. Quality analyses validate the conformance of data to domain-specific expectations. These expectations are best understood by domain experts, who can express them using natural language. However, they rarely possess the technical expertise to formalize these expectations into executable quality analyses. Consequently, this process requires domain experts and data engineers, making it time-consuming and technically demanding. The required technical expertise and the resulting dependencies pose a significant challenge. To address this challenge, we present a pipeline for formalizing and operationalizing data quality constraints. We support this pipeline using QPM, a metamodel for defining templates for reusable quality analyses. The web application Constrainify enables tailoring templates to specific conceptual requirements and translating them into executable quality analyses via a tool-chain based on model-driven engineering subpipelines. The result is a set of reusable, repeatable, and domain-specific quality analyses.
- Abstract(参考訳): 高品質なデータは、信頼できる分析、意思決定、ドメイン間の研究に不可欠である。
これは、データが手作業で収集・キュレーションされる文化遺産などの分野に特に関係しており、不整合のような品質問題に陥りやすい。
データ品質を改善するためには、システマティックな品質分析を使用して定期的にデータを分析する必要がある。
品質分析は、データのドメイン固有の期待への適合性を検証する。
これらの期待は、自然言語を使ってそれらを表現できるドメインの専門家によって最もよく理解されている。
しかし、これらの期待を実行可能な品質分析にフォーマル化する技術的専門知識を持つことはめったにない。
そのため、このプロセスはドメインの専門家とデータエンジニアを必要とし、時間と技術的に要求される。
必要な技術的専門知識と結果として生じる依存関係は、大きな課題を引き起こします。
この課題に対処するため,データ品質制約を形式化し,運用するためのパイプラインを提案する。
再利用可能な品質分析のためのテンプレートを定義するメタモデルであるQPMを用いて、このパイプラインをサポートします。
ウェブアプリケーションConstrainifyは、テンプレートを特定の概念的な要件に合わせて調整し、モデルを駆動するエンジニアリングサブパイプラインに基づいたツールチェーンを介して実行可能な品質分析に変換することを可能にする。
その結果は再利用可能な、繰り返し可能な、ドメイン固有の品質分析のセットになります。
関連論文リスト
- A Framework for Generating Valid Context-Specific Benchmarks through Expert Guidance [8.655727081754241]
本稿では,文脈依存型大規模言語モデル(LLM)ベンチマークデータセットを生成するためのエンドツーエンドアプローチを提案する。
本稿では,評価課題の目標,スコープ,コンテキストに関する重要な情報を抽出するスキーマを導入し,この情報を用いて合成データ生成のガイドを行う。
専門家インフォームド足場が、より有効なベンチマークに向けて、どのように合成データ生成を導くかを示す。
論文 参考訳(メタデータ) (2026-09-15T03:36:35Z) - Domain-Specific Data Quality Analysis Using Technology-Independent Query Templates [0.0]
品質分析はデータ品質管理の中心的な側面である。
ドメインの専門家は、品質分析を実装するのに必要なクエリ言語の専門知識を欠いていることが多い。
データ品質分析のためのテンプレートを定義するためのモデル駆動型アプローチであるQPM(Quality Pattern Model framework)を提案する。
論文 参考訳(メタデータ) (2026-07-27T08:31:13Z) - AIDABench: AI Data Analytics Benchmark [62.45908988324612]
AIDABenchは、複雑なデータ分析タスクのAIシステムをエンドツーエンドで評価するためのベンチマークである。
AIDABenchは、質問応答、データビジュアライゼーション、ファイル生成という3つのコア機能ディメンションにまたがる600以上の多様なドキュメント分析タスクを含んでいる。
AIDABenchの11の最先端モデルを評価し、プロプライエタリ(Claude Sonnet 4.5、Gemini 3 Pro Previewなど)とオープンソース(Qwen3-Max-2026-01-23-Thinkingなど)の両方を対象とする。
論文 参考訳(メタデータ) (2026-02-27T08:58:05Z) - QualiRAG: Retrieval-Augmented Generation for Visual Quality Understanding [80.66379018208568]
視覚的品質評価は、予測から解釈可能な品質理解へとシフトしている。
現在のアプローチは、教師付き微調整や強化学習に頼っている。
本稿では,視覚的品質知覚のための大規模マルチモーダルモデルの潜在知覚的知識を体系的に活用するフレームワークであるVbfQualiRAGを提案する。
論文 参考訳(メタデータ) (2026-01-26T06:27:03Z) - OIDA-QA: A Multimodal Benchmark for Analyzing the Opioid Industry Documents Archive [50.468138755368805]
オピオイド危機は公衆衛生にとって重要な瞬間である。
UCSF-JHU Opioid Industry Documents Archive(OIDA)に公開されているデータと文書
本稿では,文書属性に応じて元のデータセットを整理することで,この問題に対処する。
論文 参考訳(メタデータ) (2025-11-13T03:27:32Z) - Think Less, Label Better: Multi-Stage Domain-Grounded Synthetic Data Generation for Fine-Tuning Large Language Models in Telecommunications [0.0]
本稿では、構造化ドメイン知識に基づく合成質問応答対を生成するための探索拡張パイプラインを提案する。
我々のフレームワークは、検索器、ベースジェネレータ、精製モデルを統合して、QAペアを合成し、拡張する。
我々は,無線アクセスネットワーク(RAN)のトラブルシューティングに着目した実世界の通信シナリオにおいて,我々のアプローチを実証する。
論文 参考訳(メタデータ) (2025-09-30T03:49:57Z) - Empowering Time Series Analysis with Synthetic Data: A Survey and Outlook in the Era of Foundation Models [104.17057231661371]
時系列解析は複雑なシステムの力学を理解するために重要である。
基本モデルの最近の進歩はタスク非依存の時系列基礎モデル (TSFM) と大規模言語モデルベース時系列モデル (TSLLM) につながっている。
彼らの成功は、規制、多様性、品質、量制約のために構築が困難である、大規模で多様で高品質なデータセットに依存する。
本調査では,TSFMとTLLLMの合成データの総合的なレビュー,データ生成戦略の分析,モデル事前学習におけるそれらの役割,微調整,評価,今後の研究方向性の特定について述べる。
論文 参考訳(メタデータ) (2025-03-14T13:53:46Z) - From Data Quality for AI to AI for Data Quality: A Systematic Review of Tools for AI-Augmented Data Quality Management in Data Warehouses [0.0]
分析、コンプライアンス、AIのパフォーマンスには、高データ品質(DQ)が不可欠だ。
本研究では,データウェアハウスにおけるAI強化データ品質管理(DQM)をサポートする既存のツールについて検討する。
論文 参考訳(メタデータ) (2024-06-16T13:43:04Z) - DeepFMEA -- A Scalable Framework Harmonizing Process Expertise and Data-Driven PHM [0.0]
ほとんどの産業環境では、データは量的に制限され、その品質は矛盾することがある。
このギャップを埋めるために、成功する工業化PHMツールは、以前のドメイン専門知識の導入に依存している。
DeepFMEAは、あらゆる技術的システムを分析するための構造化アプローチにおいて、FMEA(Failure Mode and Effects Analysis)からインスピレーションを得ている。
論文 参考訳(メタデータ) (2024-05-13T09:41:34Z) - Enhancing Data Quality in Federated Fine-Tuning of Foundation Models [54.757324343062734]
本稿では,基礎モデルのファインチューニングのためのデータ品質制御パイプラインを提案する。
このパイプラインは、トレーニングデータの質を反映したスコアを計算し、統一された標準のグローバルしきい値を決定する。
実験の結果,提案した品質制御パイプラインはモデルトレーニングの有効性と信頼性を向上し,性能が向上することが示された。
論文 参考訳(メタデータ) (2024-03-07T14:28:04Z) - Quality Assurance of A GPT-based Sentiment Analysis System: Adversarial
Review Data Generation and Detection [10.567108680774782]
GPTに基づく感情分析モデルが最初に構築され、AI品質分析の基準として研究されている。
データ品質に関する品質分析は、コンテンツベースのアプローチを用いて、合理的な敵のレビューコメントを生成することを含む、実施される。
Amazon.comのレビューデータと微調整のGPTモデルに基づく実験が実施された。
論文 参考訳(メタデータ) (2023-10-09T00:01:05Z) - Analyzing Dataset Annotation Quality Management in the Wild [63.07224587146207]
最先端モデルのトレーニングと評価に使用される一般的なデータセットでさえ、誤ったアノテーションやバイアス、アーティファクトの量は無視できない。
データセット作成プロジェクトに関するプラクティスやガイドラインは存在するが、品質管理の実施方法に関する大規模な分析はまだ行われていない。
論文 参考訳(メタデータ) (2023-07-16T21:22:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。