論文の概要: Standardness Fogs Meaning: A Position Regarding the Informed Usage of Standard Datasets
- arxiv url: http://arxiv.org/abs/2406.13552v1
- Date: Wed, 19 Jun 2024 13:39:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 19:33:52.227088
- Title: Standardness Fogs Meaning: A Position Regarding the Informed Usage of Standard Datasets
- Title（参考訳）: Standardness Fogs の意味:標準データセットのインフォームド使用に関する立場
- Authors: Tim Cech, Ole Wegen, Daniel Atzberger, Rico Richter, Willy Scheibel, Jürgen Döllner,
- Abstract要約: 我々は、標準データセットのユースケース、派生カテゴリ、ラベルの一致を評価した。
20のNewsgroupsデータセットに対して、ラベルが不正確であることを実証する。
データセットの標準化の概念は、ユースケース、派生カテゴリ、クラスラベルに一致していることを意味すると結論付けている。
- 参考スコア（独自算出の注目度）: 0.5497663232622965
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Standard datasets are frequently used to train and evaluate Machine Learning models. However, the assumed standardness of these datasets leads to a lack of in-depth discussion on how their labels match the derived categories for the respective use case. In other words, the standardness of the datasets seems to fog coherency and applicability, thus impeding the trust in Machine Learning models. We propose to adopt Grounded Theory and Hypotheses Testing through Visualization as methods to evaluate the match between use case, derived categories, and labels of standard datasets. To showcase the approach, we apply it to the 20 Newsgroups dataset and the MNIST dataset. For the 20 Newsgroups dataset, we demonstrate that the labels are imprecise. Therefore, we argue that neither a Machine Learning model can learn a meaningful abstraction of derived categories nor one can draw conclusions from achieving high accuracy. For the MNIST dataset, we demonstrate how the labels can be confirmed to be defined well. We conclude that a concept of standardness of a dataset implies that there is a match between use case, derived categories, and class labels, as in the case of the MNIST dataset. We argue that this is necessary to learn a meaningful abstraction and, thus, improve trust in the Machine Learning model.
- Abstract（参考訳）: 標準データセットは機械学習モデルのトレーニングと評価に頻繁に使用される。
しかし、これらのデータセットの標準性について仮定すると、ラベルがそれぞれのユースケースの派生したカテゴリとどのように一致しているかについての詳細な議論が欠如している。
言い換えれば、データセットの標準化は一貫性と適用性を損なうように思えるため、マシンラーニングモデルの信頼性を損なうことになる。
本研究では,可視化による地上理論と仮説検証を,標準データセットのユースケース,派生カテゴリ,ラベルの一致を評価する手法として採用することを提案する。
このアプローチを実証するために、20のNewsgroupsデータセットとMNISTデータセットに適用する。
20のNewsgroupsデータセットに対して、ラベルが不正確であることを実証する。
したがって、機械学習モデルは、派生したカテゴリの有意義な抽象化を学ばず、高い精度で結論を導き出すことができない。
MNISTデータセットでは,ラベルが適切に定義されていることを実証する。
MNISTデータセットの場合のように、データセットの標準化の概念は、ユースケース、派生カテゴリ、およびクラスラベルが一致していることを意味すると結論付けている。
これは意味のある抽象化を学ぶために必要であり、従って機械学習モデルの信頼性を向上させるために必要である、と私たちは主張する。
関連論文リスト
- A Benchmark Generative Probabilistic Model for Weak Supervised Learning [2.0257616108612373]
アノテーションの負担を軽減するために、弱監視学習アプローチが開発されている。
遅延変数モデル(PLVM)が4つのデータセット間で最先端のパフォーマンスを実現することを示す。
論文 参考訳（メタデータ） (2023-03-31T07:06:24Z) - Are labels informative in semi-supervised learning? -- Estimating and
leveraging the missing-data mechanism [4.675583319625962]
半教師付き学習は、ラベルのないデータを利用して機械学習モデルを改善するための強力な技術である。
これは、あるクラスが他のクラスよりもラベル付けされる可能性が高い場合に発生する、情報的ラベルの存在に影響される可能性がある。
本稿では,データ不足のメカニズムを推定し,逆確率重み付けを用いてSSLアルゴリズムを劣化させることにより,この問題に対処する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-02-15T09:18:46Z) - ConEntail: An Entailment-based Framework for Universal Zero and Few Shot
Classification with Supervised Contrastive Pretraining [20.898477720723573]
ConEntailは、教師付きコントラスト事前訓練による、普遍的なゼロとほとんどショットの分類のためのフレームワークである。
実験では,同じデータセット上で事前学習した識別モデルと生成モデルを比較した。
論文 参考訳（メタデータ） (2022-10-14T07:37:27Z) - KGxBoard: Explainable and Interactive Leaderboard for Evaluation of
Knowledge Graph Completion Models [76.01814380927507]
KGxBoardは、データの意味のあるサブセットを詳細に評価するためのインタラクティブなフレームワークである。
実験では,KGxBoardを用いることで,標準平均シングルスコアメトリクスでは検出が不可能であったことを強調した。
論文 参考訳（メタデータ） (2022-08-23T15:11:45Z) - Learned Label Aggregation for Weak Supervision [8.819582879892762]
本稿では,ラベル付きデータを容易に生成するために,弱い監視信号を集約するデータプログラミング手法を提案する。
生成したラベルの質は、すべてのLFからノイズの多いラベルを集約し、基底真実のラベルを推測するラベル集約モデルに依存する。
合成されたデータを用いてモデルをトレーニングし、モデルに効果的なアーキテクチャを設計できることを示す。
論文 参考訳（メタデータ） (2022-07-27T14:36:35Z) - GEMv2: Multilingual NLG Benchmarking in a Single Line of Code [161.1761414080574]
Generation, Evaluation, and Metrics Benchmarkは、データセット、モデル、メトリック開発者のためのモジュラーインフラストラクチャを提供する。
GEMv2は51言語で40のドキュメントデータセットをサポートする。
すべてのデータセットのモデルはオンラインで評価でき、インタラクティブなデータカード作成とレンダリングツールによって、生きたベンチマークに新しいデータセットを簡単に追加できます。
論文 参考訳（メタデータ） (2022-06-22T17:52:30Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳（メタデータ） (2021-06-01T22:33:53Z) - SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。
まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。
次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
論文 参考訳（メタデータ） (2020-11-20T08:26:10Z) - Learning to Model and Ignore Dataset Bias with Mixed Capacity Ensembles [66.15398165275926]
本稿では,データセット固有のパターンを自動的に検出・無視する手法を提案する。
我々の方法は、より高い容量モデルでアンサンブルで低容量モデルを訓練する。
視覚的質問応答データセットの10ポイントゲインを含む,すべての設定の改善を示す。
論文 参考訳（メタデータ） (2020-11-07T22:20:03Z) - Are Labels Always Necessary for Classifier Accuracy Evaluation? [28.110519483540482]
ラベルなしテストデータセットの分類精度を推定することを目的としている。
元の画像から生成されたデータセットからなるメタデータセットを構築する。
各サンプル(データセット)上のモデルの分類精度は、元のデータセットラベルから知られているので、回帰によってそのタスクを解くことができる。
論文 参考訳（メタデータ） (2020-07-06T17:45:39Z) - Evaluating Models' Local Decision Boundaries via Contrast Sets [119.38387782979474]
テストデータの体系的なギャップを埋めるのに役立つNLPのための新しいアノテーションパラダイムを提案する。
10種類のNLPデータセットに対してコントラストセットを作成することで,コントラストセットの有効性を示す。
我々のコントラストセットは明示的には逆ではないが、モデルの性能は元のテストセットよりも大幅に低い。
論文 参考訳（メタデータ） (2020-04-06T14:47:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。