論文の概要: A Hitchhiker's Guide to Understanding Performances of Two-Class Classifiers
- arxiv url: http://arxiv.org/abs/2412.04377v1
- Date: Thu, 05 Dec 2024 17:52:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-06 14:41:36.821061
- Title: A Hitchhiker's Guide to Understanding Performances of Two-Class Classifiers
- Title(参考訳): 2クラス分類器の性能理解のためのヒッチハイカーガイド
- Authors: Anaïs Halin, Sébastien Piérard, Anthony Cioppa, Marc Van Droogenbroeck,
- Abstract要約: 4つのシナリオを提示することにより、2クラス分類器の性能を理解するための最初のヒッチハイカーガイドを提示する。
新たに導入されたTileツールと異なるフレーバーを利用して、74の最先端セマンティックセグメンテーションモデルの性能をランク付けし分析する。
- 参考スコア(独自算出の注目度): 9.140821292601458
- License:
- Abstract: Properly understanding the performances of classifiers is essential in various scenarios. However, the literature often relies only on one or two standard scores to compare classifiers, which fails to capture the nuances of application-specific requirements, potentially leading to suboptimal classifier selection. Recently, a paper on the foundations of the theory of performance-based ranking introduced a tool, called the Tile, that organizes an infinity of ranking scores into a 2D map. Thanks to the Tile, it is now possible to evaluate and compare classifiers efficiently, displaying all possible application-specific preferences instead of having to rely on a pair of scores. In this paper, we provide a first hitchhiker's guide for understanding the performances of two-class classifiers by presenting four scenarios, each showcasing a different user profile: a theoretical analyst, a method designer, a benchmarker, and an application developer. Particularly, we show that we can provide different interpretative flavors that are adapted to the user's needs by mapping different values on the Tile. As an illustration, we leverage the newly introduced Tile tool and the different flavors to rank and analyze the performances of 74 state-of-the-art semantic segmentation models in two-class classification through the eyes of the four user profiles. Through these user profiles, we demonstrate that the Tile effectively captures the behavior of classifiers in a single visualization, while accommodating an infinite number of ranking scores.
- Abstract(参考訳): 分類器の性能を適切に理解することは、様々なシナリオにおいて不可欠である。
しかし、文献はしばしば分類器を比較するために1つまたは2つの標準スコアにのみ依存しており、それはアプリケーション固有の要求のニュアンスを捉えるのに失敗し、最適でない分類器の選択につながる可能性がある。
近年,パフォーマンスベースランキング理論の基礎となる論文として,ランキングスコアの無限大を2次元マップに整理するツールTileが紹介されている。
Tileのおかげで、分類器を効率的に評価し、比較することが可能になり、一対のスコアに頼ることなく、アプリケーション固有の選好を全て表示できるようになった。
本稿では,2クラス分類器の性能を理解するための最初のヒッチハイカーガイドについて,理論アナリスト,メソッドデザイナ,ベンチマーク,アプリケーション開発者という,異なるユーザプロファイルを示す4つのシナリオを提示する。
特に,Tileの異なる値をマッピングすることで,ユーザのニーズに合わせて異なる解釈的フレーバーを提供できることを示す。
図示として、新たに導入されたTileツールと異なるフレーバーを活用し、74の最先端セマンティックセマンティックセグメンテーションモデルの2クラス分類におけるパフォーマンスを、4つのユーザプロファイルの目を通して分析する。
これらのユーザプロファイルを通じて、Tileは、無限のランキングスコアを収容しながら、単一の視覚化で分類器の振る舞いを効果的にキャプチャすることを示した。
関連論文リスト
- Rethinking Person Re-identification from a Projection-on-Prototypes
Perspective [84.24742313520811]
検索タスクとしてのPerson Re-IDentification(Re-ID)は,過去10年間で大きな発展を遂げてきた。
本稿では,新しいベースライン ProNet を提案する。
4つのベンチマークの実験では、提案したProNetは単純だが有効であり、以前のベースラインを大きく上回っている。
論文 参考訳(メタデータ) (2023-08-21T13:38:10Z) - Patch-Prompt Aligned Bayesian Prompt Tuning for Vision-Language Models [48.77653835765705]
そこでは,まず下位分布から潜在ベクトルをサンプリングし,次に軽量な生成モデルを用いてラベル固有のプロンプトを階層的に生成する。
提案手法の有効性は,少数ショット画像認識,ベース・ツー・ニュージェネリゼーション,データセット転送学習,ドメインシフトの4つのタスクで評価する。
論文 参考訳(メタデータ) (2023-03-16T06:09:15Z) - Learning-From-Disagreement: A Model Comparison and Visual Analytics
Framework [21.055845469999532]
本稿では,2つの分類モデルを視覚的に比較するフレームワークを提案する。
具体的には、不一致のインスタンスから学ぶために差別者を訓練する。
我々は、訓練された識別器を、異なるメタ特徴のSHAP値で解釈する。
論文 参考訳(メタデータ) (2022-01-19T20:15:35Z) - APANet: Adaptive Prototypes Alignment Network for Few-Shot Semantic
Segmentation [56.387647750094466]
Few-shotのセマンティックセマンティックセマンティクスは、指定されたクエリイメージに、ラベル付きサポートイメージのみで、新規クラスのオブジェクトをセグメントすることを目的としている。
ほとんどの高度なソリューションは、各クエリ機能を学習したクラス固有のプロトタイプにマッチさせることでセグメンテーションを実行するメトリクス学習フレームワークを利用している。
本稿では,クラス固有およびクラス非依存のプロトタイプを導入することで,適応型プロトタイプ表現を提案する。
論文 参考訳(メタデータ) (2021-11-24T04:38:37Z) - Learning and Evaluating Representations for Deep One-class
Classification [59.095144932794646]
ディープワンクラス分類のための2段階フレームワークを提案する。
まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。
実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
論文 参考訳(メタデータ) (2020-11-04T23:33:41Z) - Meta Learning for Few-Shot One-class Classification [0.0]
メタ学習問題として,一級分類における意味のある特徴の学習を定式化する。
これらの表現を学習するには、類似したタスクからのマルチクラスデータのみが必要である。
数ショットの分類データセットを、数ショットの1クラスの分類シナリオに適応させることで、我々のアプローチを検証する。
論文 参考訳(メタデータ) (2020-09-11T11:35:28Z) - Metrics for Multi-Class Classification: an Overview [0.9176056742068814]
2つ以上のクラスを含む分類タスクを「マルチクラス分類」と呼ぶ
パフォーマンス指標は、異なる分類モデルや機械学習技術を評価し比較する目的において非常に有用である。
論文 参考訳(メタデータ) (2020-08-13T08:41:44Z) - Fine-Grained Visual Classification with Efficient End-to-end
Localization [49.9887676289364]
本稿では,エンド・ツー・エンドの設定において,分類ネットワークと融合可能な効率的なローカライゼーションモジュールを提案する。
我々は,CUB200-2011,Stanford Cars,FGVC-Aircraftの3つのベンチマークデータセット上で,新しいモデルを評価する。
論文 参考訳(メタデータ) (2020-05-11T14:07:06Z) - Selecting Relevant Features from a Multi-domain Representation for
Few-shot Classification [91.67977602992657]
本稿では,従来の特徴適応手法よりもシンプルかつ効果的である特徴選択に基づく新しい戦略を提案する。
このような特徴の上に構築された単純な非パラメトリック分類器は高い精度を示し、訓練中に見たことのない領域に一般化する。
論文 参考訳(メタデータ) (2020-03-20T15:44:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。