論文の概要: Implementation Guidelines for Data Quality Metrics

• arxiv url: http://arxiv.org/abs/2610.10919v1
• Date: Wed, 07 Oct 2026 21:18:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.676188
• Title: Implementation Guidelines for Data Quality Metrics
• Title（参考訳）: データ品質基準の実装ガイドライン
• Abstract要約: 本稿では,ISO DQメトリクスを実行可能なものにする。 両標準のすべてのデータレベルのメトリクスを、(i)データ以外の入力を必要としない一般化可能なメトリクス、(ii)パラメータをクリーンな参照データから学習できるパラメータ化されたメトリクス、(iii)定性的な判断を必要とし、自動化できない一般化不可能なメトリクスに分類する。
• 参考スコア（独自算出の注目度）: 1.0944939391781285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite decades of data quality (DQ) research, a gap remains between DQ dimensions, such as accuracy or completeness, which the literature defines in textual form, and DQ tools, which typically implement low-level checks that are not aligned with these dimensions. ISO/IEC 25024 and ISO/IEC 5259 attempt to bridge this gap by defining DQ metrics for each dimension. However, these DQ metrics are hardly used, because the standards leave open how to implement them: for example, the metric for syntactic accuracy counts syntactically accurate values, but does not state how to decide that a value is syntactically accurate. This simply moves the problem to another level without solving it. As a result, DQ assessment currently cannot build on the standards. In this paper, we make the ISO DQ metrics executable. We classify all data-level metrics of both standards into (i) generalizable metrics that need no input beyond the data, (ii) parameterized metrics whose parameters can be learned from clean reference data or set by an expert, and (iii) non-generalizable metrics that need qualitative judgment and cannot be automated. For the metrics that can be automated, i.e., categories (i) and (ii), we propose implementation guidelines that resolve what the standards leave open. We realize the guidelines in dqmeasure, an open-source library of 20 metrics that learns these parameters from reference data instead of relying on manually defined rules. Our experiments on real-world and synthetic datasets show that the metric scores decrease monotonically with an increasing number of injected errors, decline together with downstream ML performance, and scale linearly with the number of rows, which enables automated DQ monitoring based on the standards.
• Abstract（参考訳）: 数十年にわたるデータ品質(DQ)の研究にもかかわらず、文献がテキスト形式で定義している正確性や完全性といったDQ次元と、これらの次元に整合しない低レベルのチェックを実装するDQツールの間には、ギャップが残っている。 ISO/IEC 25024とISO/IEC 5259は、各次元のDQメトリクスを定義することによって、このギャップを埋めようとしている。 しかし、これらのDQ指標はほとんど使われておらず、例えば、構文的精度の指標は構文的精度の値をカウントするが、その値が構文的正確かどうかを判断する方法は述べていない。 これは単に問題を解決せずに別のレベルに移すだけである。 結果として、現在、DQアセスメントは標準に基づいて構築することはできない。 本稿では,ISO DQメトリクスを実行可能なものにする。 私たちは、両方の標準のすべてのデータレベルのメトリクスを分類します。 (i)データ以外の入力を必要としない一般化可能なメトリクス。 二 基準データからパラメータを学習することができるパラメータ化メトリクス、又は専門家が設定できるパラメータ化メトリクス 三 定性的判断を要し、自動化できない総合的でない指標 自動化可能なメトリクス、すなわちカテゴリについて (i)および (ii) 標準がオープンなものを解決するための実装ガイドラインを提案する。 このガイドラインは、手動で定義されたルールに頼るのではなく、参照データからこれらのパラメータを学習する20のメトリクスからなるオープンソースのライブラリである。 実世界および合成データセットを用いた実験により, 検定値の単調な減少, インジェクション誤差の増加, 下流ML性能の低下, 行数の増加による線形スケール, により, 基準に基づくDQ自動監視が可能となった。

関連論文リスト

• Debiased Inference for AI-Generated Data without Gold-Standard Labels: Identification via Multiple Imperfect Measurements [0.6875312133832079]
  多重不完全測定(DMM)を用いた偏り推論を提案する。 DMMは、複数のエラーが発生しやすいAI測定を組み合わせることで、ゴールドスタンダードラベルなしで、有効な下流推論を可能にする。 シミュレーションの結果,DMMは有効な推定値となり,正確な測定値を加えることで効率が向上することが示された。
  論文  参考訳（メタデータ） (2026-08-18T20:18:41Z)
• T2S-Metrics: Unified Library for Evaluating SPARQL Queries Generated From Natural Language [3.0216239385077572]
  SPARQLに基づく評価に特化して設計されたオープンソースの統一評価ライブラリであるt2s-metricsを提案する。 t2s-metricsは、文献や実践的な評価ニーズから収集された、20以上の評価指標の幅広いセットを提供する。 我々は t2s-metrics が知識グラフに対する質問応答において, 体系的, 標準化された評価に向けた必要なステップであると主張している。
  論文  参考訳（メタデータ） (2026-04-22T08:13:41Z)
• Position: All Current Generative Fidelity and Diversity Metrics are Flawed [58.815519650465774]
  現在のジェネレーティブの忠実度と多様性の指標がすべて欠陥があることを示します。 私たちの目標は、モデルではなく、メトリクスの開発により多くの労力を費やすように研究コミュニティを説得することにあります。
  論文  参考訳（メタデータ） (2025-05-28T15:10:33Z)
• Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
  基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。 本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2024-03-21T10:31:11Z)
• Reference-based Metrics Disprove Themselves in Question Generation [17.83616985138126]
  人手による参照を用いることで、参照ベースのメトリクスの有効性を保証できないことがわかった。 優れた測定基準は、生成した質問に比較して、人間公認の質問を格付けすることが期待されている。 本研究では, 自然性, 応答性, 複雑性などの多次元的基準からなる基準自由度尺度を提案する。
  論文  参考訳（メタデータ） (2024-03-18T20:47:10Z)
• On the Limitations of Reference-Free Evaluations of Generated Text [64.81682222169113]
  基準のないメトリクスは本質的にバイアスがあり、生成したテキストを評価する能力に制限があることを示す。 機械翻訳や要約といったタスクの進捗を計測するために使用するべきではない、と我々は主張する。
  論文  参考訳（メタデータ） (2022-10-22T22:12:06Z)
• Using Rater and System Metadata to Explain Variance in the VoiceMOS Challenge 2022 Dataset [71.93633698146002]
  VoiceMOS 2022チャレンジでは、合成音声変換と主観的なラベル付き音声音声合成サンプルのデータセットが提供された。 本研究では,メタデータからの音声品質の主観評価とデータセットの分布不均衡から説明できる分散量について検討する。
  論文  参考訳（メタデータ） (2022-09-14T00:45:49Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)
• Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary [65.37544133256499]
  質問回答(QA)を用いて要約内容の質を評価する指標を提案する。 提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
  論文  参考訳（メタデータ） (2020-10-01T15:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。