論文の概要: Dissecting Sample Hardness: A Fine-Grained Analysis of Hardness
Characterization Methods for Data-Centric AI
- arxiv url: http://arxiv.org/abs/2403.04551v1
- Date: Thu, 7 Mar 2024 14:45:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 13:44:19.883936
- Title: Dissecting Sample Hardness: A Fine-Grained Analysis of Hardness
Characterization Methods for Data-Centric AI
- Title(参考訳): 分割サンプル硬さ:データ中心AIの硬さ評価手法の微粒化解析
- Authors: Nabeel Seedat, Fergus Imrie, Mihaela van der Schaar
- Abstract要約: 硬度評価法(HCM)は「硬度」サンプルの同定を目的とする。
硬さ」の定義と評価に関する合意の欠如
硬度分類の微粒化と硬度評価分析ツールキット(H-CAT)を提案する。
H-CATは、硬度分類におけるHCMの包括的かつ定量的なベンチマークをサポートする。
- 参考スコア(独自算出の注目度): 74.00826266000303
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Characterizing samples that are difficult to learn from is crucial to
developing highly performant ML models. This has led to numerous Hardness
Characterization Methods (HCMs) that aim to identify "hard" samples. However,
there is a lack of consensus regarding the definition and evaluation of
"hardness". Unfortunately, current HCMs have only been evaluated on specific
types of hardness and often only qualitatively or with respect to downstream
performance, overlooking the fundamental quantitative identification task. We
address this gap by presenting a fine-grained taxonomy of hardness types.
Additionally, we propose the Hardness Characterization Analysis Toolkit
(H-CAT), which supports comprehensive and quantitative benchmarking of HCMs
across the hardness taxonomy and can easily be extended to new HCMs, hardness
types, and datasets. We use H-CAT to evaluate 13 different HCMs across 8
hardness types. This comprehensive evaluation encompassing over 14K setups
uncovers strengths and weaknesses of different HCMs, leading to practical tips
to guide HCM selection and future development. Our findings highlight the need
for more comprehensive HCM evaluation, while we hope our hardness taxonomy and
toolkit will advance the principled evaluation and uptake of data-centric AI
methods.
- Abstract(参考訳): 学習が難しいサンプルを特徴付けることは、高いパフォーマンスのmlモデルを開発する上で非常に重要です。
これは「硬い」サンプルを識別することを目的とした多くのハードネス評価法(HCM)につながった。
しかし、「硬さ」の定義と評価については合意が得られていない。
残念なことに、現在のHCMは特定の種類の硬さでのみ評価されており、基本的な定量化タスクを見越して、定性的または下流のパフォーマンスに関してのみ評価されている。
このギャップに対処するためには、硬度型のきめ細かい分類を提示する。
さらに、硬度分類におけるHCMの総合的かつ定量的なベンチマークをサポートし、新しいHCM、硬度タイプ、データセットに容易に拡張できるH-CAT(Hardness Characterization Analysis Toolkit)を提案する。
H-CATを用いて8種類の硬度タイプで13種類のHCMを評価した。
この包括的評価は14K以上の設定を含んでおり、異なるHCMの強度と弱点を明らかにし、HCMの選択と今後の発展を導くための実践的なヒントをもたらす。
我々の研究は、より包括的なHCM評価の必要性を強調し、硬度分類学とツールキットがデータ中心のAI手法の原則的評価と取り込みを進めることを願っている。
関連論文リスト
- From Movements to Metrics: Evaluating Explainable AI Methods in
Skeleton-Based Human Activity Recognition [0.16385815610837165]
本稿では,骨格型HAR領域におけるXAI評価指標の適用性と信頼性の欠如に対処する。
CAM(Class Activation Mapping)とGrad-CAM(Grad-CAM)で確立されたXAIメトリクスを検証した。
以上の結果から, 有効GCNモデルなど特定の文脈において, テキストフェースフルネスは信頼性に欠ける可能性が示唆された。
論文 参考訳(メタデータ) (2024-02-20T07:58:04Z) - RJUA-MedDQA: A Multimodal Benchmark for Medical Document Question
Answering and Clinical Reasoning [14.366349078707263]
RJUA-MedDQAは医学専門分野における総合的なベンチマークである。
本稿では医学専門分野の総合的なベンチマークであるRJUA-MedDQAを紹介する。
論文 参考訳(メタデータ) (2024-02-19T06:57:02Z) - CodaMal: Contrastive Domain Adaptation for Malaria Detection in Low-Cost
Microscopes [56.3283655201407]
マラリアは世界中で大きな問題であり、診断には低コストの顕微鏡(LCM)で効果的に動作するスケーラブルなソリューションが必要である。
ディープラーニングに基づく手法は、顕微鏡画像からコンピュータ支援による診断に成功している。
これらの方法には、マラリア原虫の感染した細胞とその生活段階を示す注釈画像が必要である。
LCMからの注記画像は、高精細顕微鏡(HCM)からの注記画像と比較して医療専門家の負担を著しく増大させる
論文 参考訳(メタデータ) (2024-02-16T06:57:03Z) - A Review on Knowledge Graphs for Healthcare: Resources, Applications,
and Promises [53.48844796428081]
この研究は、医療知識グラフ(HKG)の最初の包括的なレビューを提供する。
HKG構築のためのパイプラインと重要なテクニックを要約し、一般的な利用方法も示す。
アプリケーションレベルでは、さまざまなヘルスドメインにわたるHKGの正常な統合を検討します。
論文 参考訳(メタデータ) (2023-06-07T21:51:56Z) - Mixed-order self-paced curriculum learning for universal lesion
detection [36.198165949330566]
自己評価カリキュラム学習(SCL)は,コンピュータビジョンや自然言語処理などにおいて,その大きな可能性を実証している。
オンラインデータの難易度推定に基づいて、簡単なサンプリングを実装している。
ほとんどのSCL手法は、初期のトレーニング段階でデータの難易度を推定し、ハードのサンプルを重み付けするロスベースの戦略を採用している。
論文 参考訳(メタデータ) (2023-02-09T14:52:44Z) - Efficient Deep Clustering of Human Activities and How to Improve
Evaluation [53.08810276824894]
我々は,ヒト活動の再コーグ・ニオン(HAR)のための新しい深層クラスタリングモデルを提案する。
本稿では,HARクラスタリングモデルがどのように評価されるかという,いくつかの異なる問題を取り上げる。
次に、これらの問題に対する解決策について議論し、将来の深層HARクラスタリングモデルに対する標準評価設定を提案する。
論文 参考訳(メタデータ) (2022-09-17T14:12:42Z) - MetaVA: Curriculum Meta-learning and Pre-fine-tuning of Deep Neural
Networks for Detecting Ventricular Arrhythmias based on ECGs [9.600976281032862]
心室不整脈(VA)は突然の心臓死の主な原因である。
グループレベルの多様性を解決するために,カリキュラム学習法(CL)を用いたモデル非依存メタラーニング(MAML)を提案する。
利用可能なECGデータセットを3つ組み合わせて実験を行った。
論文 参考訳(メタデータ) (2022-02-25T01:26:19Z) - A Survey: Deep Learning for Hyperspectral Image Classification with Few
Labeled Samples [20.387084755676533]
ディープラーニングは、ハイパースペクトル画像(HSI)分類の分野で広く利用されている。
ディープラーニングモデルは、しばしば多くのトレーニング可能なパラメータを含み、最適なパフォーマンスを達成するために大量のラベル付きサンプルを必要とする。
HSI分類では,手動ラベリングの難易度と時間的特性から,多くのラベル付きサンプルの取得が困難である。
論文 参考訳(メタデータ) (2021-12-03T09:16:05Z) - Deep Learning for Virtual Screening: Five Reasons to Use ROC Cost
Functions [80.12620331438052]
深層学習は サイリコの何十億もの分子を 迅速にスクリーニングする 重要なツールとなりました
その重要性にもかかわらず、厳密なクラス不均衡、高い決定しきい値、いくつかのデータセットにおける基底真理ラベルの欠如など、これらのモデルのトレーニングにおいて重大な課題が続いている。
このような場合、クラス不均衡に対するロバスト性から、レシーバ動作特性(ROC)を直接最適化することを好んで論じる。
論文 参考訳(メタデータ) (2020-06-25T08:46:37Z) - Semi-supervised Medical Image Classification with Relation-driven
Self-ensembling Model [71.80319052891817]
医用画像分類のための関係駆動型半教師付きフレームワークを提案する。
これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。
本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
論文 参考訳(メタデータ) (2020-05-15T06:57:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。