論文の概要: Precision at the indistinguishability threshold: a method for evaluating
classification algorithms
- arxiv url: http://arxiv.org/abs/2311.11422v1
- Date: Sun, 19 Nov 2023 20:47:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 20:33:18.799417
- Title: Precision at the indistinguishability threshold: a method for evaluating
classification algorithms
- Title（参考訳）: 識別不能閾値における精度:分類アルゴリズムの評価法
- Authors: David J. T. Sumpter
- Abstract要約: 分類アルゴリズムの性能を評価するための、幅広いシングルナンバーメトリクスが存在する。
猫と猫を区別できないようにアルゴリズムが調整された場合、猫が実際に猫を包んでいるとラベル付けされた画像が、どれくらいの頻度でランダムに選択されるのか?
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There exist a wide range of single number metrics for assessing performance
of classification algorithms, including AUC and the F1-score (Wikipedia lists
17 such metrics, with 27 different names). In this article, I propose a new
metric to answer the following question: when an algorithm is tuned so that it
can no longer distinguish labelled cats from real cats, how often does a
randomly chosen image that has been labelled as containing a cat actually
contain a cat? The steps to construct this metric are as follows. First, we set
a threshold score such that when the algorithm is shown two randomly-chosen
images -- one that has a score greater than the threshold (i.e. a picture
labelled as containing a cat) and another from those pictures that really does
contain a cat -- the probability that the image with the highest score is the
one chosen from the set of real cat images is 50\%. At this decision threshold,
the set of positively labelled images are indistinguishable from the set of
images which are positive. Then, as a second step, we measure performance by
asking how often a randomly chosen picture from those labelled as containing a
cat actually contains a cat. This metric can be thought of as {\it precision at
the indistinguishability threshold}. While this new metric doesn't address the
tradeoff between precision and recall inherent to all such metrics, I do show
why this method avoids pitfalls that can occur when using, for example AUC, and
it is better motivated than, for example, the F1-score.
- Abstract（参考訳）: aucやf1-scoreなど、分類アルゴリズムのパフォーマンスを評価するための単一の数値メトリクスは幅広く存在する(wikipediaは17の指標をリストアップし、27の異なる名前を持っている)。
本稿では,猫と実猫を区別できないようにアルゴリズムが調整された場合,猫が実際に猫を包んでいるとラベル付けされた画像が,どれくらいの頻度で存在するのか,という疑問に答えるための新しい指標を提案する。
この計量を構成するステップは次のとおりである。
まず、アルゴリズムが2つの無作為なチョセン画像(例えば、猫を含むとラベルづけされた画像)と、実際に猫を含む画像から1つの画像(つまり、猫を含むとラベルされた画像)を示すとき、最も高いスコアを持つ画像が実際の猫画像の集合から選択された画像の確率が50\%であるように閾値スコアを設定する。
この判定閾値では、正のラベル付き画像の集合は正の画像の集合と区別できない。
2番目のステップとして、猫を含むものとしてラベル付けされた画像からランダムに選択された画像が実際に猫を含む頻度を問うことで、パフォーマンスを測定する。
この計量は「区別不能閾値での精度」と考えることができる。
この新しいメトリクスは、これらのメトリクスすべてに固有の精度とリコールのトレードオフに対処するものではないが、このメソッドがAUCなどの使用時に発生する落とし穴を回避し、例えばF1スコアよりもモチベーションがよいことを示す。
関連論文リスト
- Annotation Cost-Efficient Active Learning for Deep Metric Learning Driven Remote Sensing Image Retrieval [3.2109665109975696]
ANNEALは、類似した、異種のイメージペアで構成された、小さくて情報的なトレーニングセットを作成することを目的としている。
不確実性と多様性の基準を組み合わせることにより、画像対の情報性を評価する。
このアノテート方式は、ランド・ユース・ランド・カバー・クラスラベルによるアノテート画像と比較して、アノテーションコストを著しく削減する。
論文 参考訳（メタデータ） (2024-06-14T15:08:04Z) - Few-Shot Anomaly Detection via Category-Agnostic Registration Learning [65.64252994254268]
既存のほとんどの異常検出方法は、各カテゴリに専用のモデルを必要とする。
この記事では、新しい数ショットAD(FSAD)フレームワークを提案する。
これは新しいカテゴリーのモデル微調整を必要としない最初のFSAD法である。
論文 参考訳（メタデータ） (2024-06-13T05:01:13Z) - One Weird Trick to Improve Your Semi-Weakly Supervised Semantic
Segmentation Model [8.388356030608886]
半弱教師付きセマンティックセマンティックセグメンテーション(SWSSS)は、ピクセルレベルのラベルを持つ少数の画像と、画像レベルのラベルのみを持つ多くの画像に基づいて、画像内のオブジェクトを識別するモデルを訓練することを目的としている。
既存のほとんどのSWSSSアルゴリズムは、画像分類器からピクセルレベルの擬似ラベルを抽出する。
本稿では,擬似ラベルを抽出する代わりに,その分類器を分類器として利用する予測フィルタリング法を提案する。
この単純な後処理メソッドをベースラインに追加すると、従来のSWSSSアルゴリズムと競合する結果が得られる。
論文 参考訳（メタデータ） (2022-05-02T21:46:41Z) - Few-shot semantic segmentation via mask aggregation [5.886986014593717]
セマンティックセグメンテーションは、ラベル付きデータが少ない新しいクラスを認識することを目的としている。
従来の研究では、これをピクセル単位の分類問題と見なしていた。
この問題に対処するためのマスクベースの分類手法を提案する。
論文 参考訳（メタデータ） (2022-02-15T07:13:09Z) - Generalized Category Discovery [148.32255950504182]
本稿では,ラベル付き画像集合とラベル付き画像集合とを併用した画像認識手法を提案する。
ここでは、未表示の画像はラベル付きクラスから、あるいは新しいものから来ているかもしれない。
まず、新しいカテゴリー発見から最先端のアルゴリズムを取り入れ、そのタスクに適応することで、強力なベースラインを確立する。
次に、単純だが効果的な半教師付き$k$-meansメソッドを導入する。
論文 参考訳（メタデータ） (2022-01-07T18:58:35Z) - Semantic-Based Few-Shot Learning by Interactive Psychometric Testing [14.939767383180786]
ほとんどショットの分類タスクは、サポートセット内のいくつかのラベル付き例に基づいて、クエリセット内のイメージを分類することを目的としていない。
本研究では,この難易度の高いシナリオ,セマンティックベースの数発学習に向けて,数発の学習を進めた。
本稿では,対話型心理測定学習を用いて内的意味関係を抽出し,そのパラダイムに対処する手法を提案する。
論文 参考訳（メタデータ） (2021-12-16T21:03:09Z) - Virus-MNIST: Machine Learning Baseline Calculations for Image
Classification [0.0]
Virus-MNISTデータセットは、ユビキタスなMNISTの手書き桁に類似したサムネイル画像の集合である。
ウイルスモデルトレーニングの進捗をベンチマークする役割を担っている。
論文 参考訳（メタデータ） (2021-11-03T17:44:23Z) - Feature Space Targeted Attacks by Statistic Alignment [74.40447383387574]
特徴空間ターゲットは、中間特徴写像を変調して摂動画像を攻撃する。
画素ワイドユークリッド距離の現在の選択は、ソースとターゲットの特徴に不合理に空間整合性制約を課すため、不一致を測定することが疑問視されている。
本稿では,Pair-wise Alignment AttackとGlobal-wise Alignment Attackという2つの新しい手法を提案する。
論文 参考訳（メタデータ） (2021-05-25T03:46:39Z) - Semantic Distribution-aware Contrastive Adaptation for Semantic
Segmentation [50.621269117524925]
ドメイン適応セマンティックセグメンテーション(ドメイン適応セマンティックセグメンテーション)とは、特定のソースドメインのアノテーションだけで特定のターゲットドメイン上で予測を行うことを指す。
画素ワイド表示アライメントを可能にする意味分布対応コントラスト適応アルゴリズムを提案する。
複数のベンチマークでSDCAを評価し、既存のアルゴリズムを大幅に改善します。
論文 参考訳（メタデータ） (2021-05-11T13:21:25Z) - Seed the Views: Hierarchical Semantic Alignment for Contrastive
Representation Learning [116.91819311885166]
一つの画像から生成されたビューをtextbfCross-samples や Multi-level representation に拡張することで,階層的なセマンティックアライメント戦略を提案する。
提案手法はCsMlと呼ばれ,サンプル間の多層視覚表現を堅牢な方法で統合する機能を備えている。
論文 参考訳（メタデータ） (2020-12-04T17:26:24Z) - SCAN: Learning to Classify Images without Labels [73.69513783788622]
機能学習とクラスタリングを分離する2段階のアプローチを提唱する。
表現学習からの自己教師型タスクを用いて意味論的意味のある特徴を得る。
我々は、ImageNet上で有望な結果を得、低データ体制下では、いくつかの半教師付き学習方法より優れています。
論文 参考訳（メタデータ） (2020-05-25T18:12:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。