論文の概要: Statistical Dataset Evaluation: Reliability, Difficulty, and Validity

• arxiv url: http://arxiv.org/abs/2212.09272v1
• Date: Mon, 19 Dec 2022 06:55:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 16:39:36.130090
• Title: Statistical Dataset Evaluation: Reliability, Difficulty, and Validity
• Title（参考訳）: 統計データセットの評価:信頼性、難易度、妥当性
• Authors: Chengwen Wang, Qingxiu Dong, Xiaochen Wang, Haitao Wang and Zhifang Sui
• Abstract要約: 自動データセット品質評価のためのモデルに依存しないデータセット評価フレームワークを提案する。 我々は、データセットの統計的性質を求め、信頼性、難易度、妥当性の3つの基本的な次元に対処する。
• 参考スコア（独自算出の注目度）: 18.36931975072938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Datasets serve as crucial training resources and model performance trackers. However, existing datasets have exposed a plethora of problems, inducing biased models and unreliable evaluation results. In this paper, we propose a model-agnostic dataset evaluation framework for automatic dataset quality evaluation. We seek the statistical properties of the datasets and address three fundamental dimensions: reliability, difficulty, and validity, following a classical testing theory. Taking the Named Entity Recognition (NER) datasets as a case study, we introduce $9$ statistical metrics for a statistical dataset evaluation framework. Experimental results and human evaluation validate that our evaluation framework effectively assesses various aspects of the dataset quality. Furthermore, we study how the dataset scores on our statistical metrics affect the model performance, and appeal for dataset quality evaluation or targeted dataset improvement before training or testing models.
• Abstract（参考訳）: データセットは重要なトレーニングリソースとモデルパフォーマンストラッカとして機能します。 しかし、既存のデータセットは多数の問題を明らかにし、バイアス付きモデルや信頼性の低い評価結果を誘導している。 本稿では,自動データセット品質評価のためのモデル非依存なデータセット評価フレームワークを提案する。 データセットの統計的性質を求め,信頼性,難易度,妥当性という3つの基本的な次元を古典的テスト理論に従って扱う。 名前付きエンティティ認識(NER)データセットをケーススタディとして、統計的データセット評価フレームワークに9ドルの統計指標を導入する。 実験結果と人的評価により,評価フレームワークはデータセットの品質の様々な側面を効果的に評価する。 さらに,我々の統計指標におけるデータセットスコアがモデル性能に与える影響について検討し,トレーニングやテスト前のデータセット品質評価や目標データセットの改善に訴求する。

関連論文リスト

• Quality Matters: Evaluating Synthetic Data for Tool-Using LLMs [11.24476329991465]
  外部ツール使用のための大規模言語モデル(LLM)のトレーニングは、急速に拡大する分野である。 体系的なデータ品質チェックの欠如は、モデルを適切にトレーニングし、テストするための複雑さを引き起こす。 外部ツールを用いたLCMのトレーニングにおいて,データの信頼性を評価するための2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-09-24T17:20:02Z)
• On Evaluation of Vision Datasets and Models using Human Competency Frameworks [20.802372291783488]
  アイテム応答理論(IRT)は、モデルと各データセット項目のアンサンブルに対して解釈可能な潜在パラメータを推論するフレームワークである。 モデルキャリブレーションを評価し、情報的データサブセットを選択し、コンピュータビジョンにおけるモデルとデータセットを解析・比較するための潜在パラメータの有用性を実証する。
  論文  参考訳（メタデータ） (2024-09-06T06:20:11Z)
• Truthful Dataset Valuation by Pointwise Mutual Information [28.63827288801458]
  観測データを真に報告することで,データ提供者が常に期待するスコアを最大化することができる新しいデータ評価手法を提案する。 本手法は、適切なスコアリングルールのパラダイムに従って、テストデータセットと評価データセットのポイントワイド相互情報(PMI)を測定する。
  論文  参考訳（メタデータ） (2024-05-28T15:04:17Z)
• TRIAGE: Characterizing and auditing training data for improved regression [80.11415390605215]
  TRIAGEは回帰タスクに適した新しいデータキャラクタリゼーションフレームワークで、広範囲の回帰器と互換性がある。 TRIAGEは、共形予測分布を利用して、モデルに依存しないスコアリング方法、TRIAGEスコアを提供する。 TRIAGEの特徴は一貫性があり、複数の回帰設定においてデータの彫刻/フィルタリングによるパフォーマンス向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-29T10:31:59Z)
• On the Evaluation and Refinement of Vision-Language Instruction Tuning Datasets [71.54954966652286]
  VLIT(Vision-Language Instruction-Tuning)データセットの評価を試みる。 各データセットから高いSQのサンプルを収集し,新しいデータセットREVO-LIONを構築した。 注目すべきは、完全なデータの半分でなくても、REVO-LIONでトレーニングされたモデルは、単にすべてのVLITデータセットを追加するのに匹敵するパフォーマンスを達成することができることだ。
  論文  参考訳（メタデータ） (2023-10-10T13:01:38Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Striving for data-model efficiency: Identifying data externalities on group performance [75.17591306911015]
  信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。 我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。 以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
  論文  参考訳（メタデータ） (2022-11-11T16:48:27Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Data-SUITE: Data-centric identification of in-distribution incongruous examples [81.21462458089142]
  Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。 我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
  論文  参考訳（メタデータ） (2022-02-17T18:58:31Z)
• Data Quality Evaluation using Probability Models [0.0]
  以上の結果から, 単純な善/悪の学習例に基づいて, データの質を予測する能力は正確であることが示唆された。
  論文  参考訳（メタデータ） (2020-09-14T18:12:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。