論文の概要: A Novel Metric for Measuring Data Quality in Classification Applications (extended version)

• arxiv url: http://arxiv.org/abs/2312.08066v1
• Date: Wed, 13 Dec 2023 11:20:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 15:33:15.698617
• Title: A Novel Metric for Measuring Data Quality in Classification Applications (extended version)
• Title（参考訳）: 分類アプリケーションにおけるデータ品質測定のための新しい指標(拡張版)
• Authors: Jouseau Roxane, Salva S\'ebastien, Samir Chafik
• Abstract要約: データ品質を測定するための新しい指標を紹介し説明する。 この尺度は、分類性能とデータの劣化の相関した進化に基づいている。 各基準の解釈と評価レベルの例を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data quality is a key element for building and optimizing good learning models. Despite many attempts to characterize data quality, there is still a need for rigorous formalization and an efficient measure of the quality from available observations. Indeed, without a clear understanding of the training and testing processes, it is hard to evaluate the intrinsic performance of a model. Besides, tools allowing to measure data quality specific to machine learning are still lacking. In this paper, we introduce and explain a novel metric to measure data quality. This metric is based on the correlated evolution between the classification performance and the deterioration of data. The proposed method has the major advantage of being model-independent. Furthermore, we provide an interpretation of each criterion and examples of assessment levels. We confirm the utility of the proposed metric with intensive numerical experiments and detail some illustrative cases with controlled and interpretable qualities.
• Abstract（参考訳）: データ品質は、優れた学習モデルを構築し、最適化するための重要な要素です。 データ品質を特徴付ける多くの試みにもかかわらず、厳密な形式化と利用可能な観察からの品質の効率的な測定が必要である。 実際、トレーニングとテストプロセスの明確な理解がなければ、モデルの本質的なパフォーマンスを評価するのは難しいのです。 さらに、機械学習特有のデータ品質を測定するツールはまだ不足している。 本稿では,データ品質を測定するための新しい指標を紹介し,説明する。 この尺度は、分類性能とデータの劣化の間の相関進化に基づいている。 提案手法はモデルに依存しない大きな利点がある。 さらに、各基準の解釈と評価レベルの例を示す。 集中的な数値実験により,提案手法の有用性を確認し,制御可能かつ解釈可能な性質を有する例を詳述する。

関連論文リスト

• Quality Matters: Evaluating Synthetic Data for Tool-Using LLMs [11.24476329991465]
  外部ツール使用のための大規模言語モデル(LLM)のトレーニングは、急速に拡大する分野である。 体系的なデータ品質チェックの欠如は、モデルを適切にトレーニングし、テストするための複雑さを引き起こす。 外部ツールを用いたLCMのトレーニングにおいて,データの信頼性を評価するための2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-09-24T17:20:02Z)
• QuRating: Selecting High-Quality Data for Training Language Models [64.83332850645074]
  データ品質に関する人間の直感をキャプチャできる事前学習データを選択するQuRatingを導入する。 本稿では,書体,専門知識,事実とトリビア,教育的価値の4つの特性について検討する。 ペアの判断からスカラー評価を学習するためにQurモデルをトレーニングし、それを4つの基準ごとに品質評価付き260Bのトレーニングコーパスにアノテートするために使用します。
  論文  参考訳（メタデータ） (2024-02-15T06:36:07Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Assessing Dataset Quality Through Decision Tree Characteristics in Autoencoder-Processed Spaces [0.30458514384586394]
  データセットの品質がモデルトレーニングとパフォーマンスに深く影響していることを示します。 以上の結果から,適切な特徴選択,適切なデータボリューム,データ品質の重要性が浮き彫りになった。 この研究は、データアセスメントのプラクティスに関する貴重な洞察を提供し、より正確で堅牢な機械学習モデルの開発に寄与する。
  論文  参考訳（メタデータ） (2023-06-27T11:33:31Z)
• Quality In / Quality Out: Assessing Data quality in an Anomaly Detection Benchmark [0.13764085113103217]
  同じベンチマークデータセット(異常検出のためのフローベースリアルタイムデータセットであるUGR'16)に対する比較的小さな変更は、考慮した機械学習技術よりも、モデルパフォーマンスに著しく影響することを示します。 この結果から,自律型ネットワークにおけるデータ品質評価と最適化技術に,より注意を払う必要があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-31T12:03:12Z)
• Striving for data-model efficiency: Identifying data externalities on group performance [75.17591306911015]
  信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。 我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。 以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
  論文  参考訳（メタデータ） (2022-11-11T16:48:27Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)
• What is the Value of Data? On Mathematical Methods for Data Quality Estimation [35.75162309592681]
  与えられたデータセットの品質に関する公式な定義を提案する。 予測直径と呼ぶ量によってデータセットの品質を評価する。
  論文  参考訳（メタデータ） (2020-01-09T18:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。