論文の概要: Prayatul Matrix: A Direct Comparison Approach to Evaluate Performance of
Supervised Machine Learning Models
- arxiv url: http://arxiv.org/abs/2209.12728v1
- Date: Mon, 26 Sep 2022 14:32:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 14:03:09.294492
- Title: Prayatul Matrix: A Direct Comparison Approach to Evaluate Performance of
Supervised Machine Learning Models
- Title（参考訳）: Prayatul Matrix: 教師付き機械学習モデルの性能評価のための直接比較手法
- Authors: Anupam Biswas
- Abstract要約: 教師付き機械学習(ML)モデルの性能比較は、テストデータセット上で得られた様々な混乱行列に基づくスコアの観点から広く行われている。
本稿では,データセット内の個々のインスタンスの観点から,教師付きMLモデルの直接比較を行う方法を提案する。
- 参考スコア（独自算出の注目度）: 2.1320960069210475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Performance comparison of supervised machine learning (ML) models are widely
done in terms of different confusion matrix based scores obtained on test
datasets. However, a dataset comprises several instances having different
difficulty levels. Therefore, it is more logical to compare effectiveness of ML
models on individual instances instead of comparing scores obtained for the
entire dataset. In this paper, an alternative approach is proposed for direct
comparison of supervised ML models in terms of individual instances within the
dataset. A direct comparison matrix called \emph{Prayatul Matrix} is
introduced, which accounts for comparative outcome of two ML algorithms on
different instances of a dataset. Five different performance measures are
designed based on prayatul matrix. Efficacy of the proposed approach as well as
designed measures is analyzed with four classification techniques on three
datasets. Also analyzed on four large-scale complex image datasets with four
deep learning models namely ResNet50V2, MobileNetV2, EfficientNet, and
XceptionNet. Results are evident that the newly designed measure are capable of
giving more insight about the comparing ML algorithms, which were impossible
with existing confusion matrix based scores like accuracy, precision and
recall.
- Abstract（参考訳）: 教師付き機械学習(ML)モデルの性能比較は、テストデータセット上で得られた様々な混乱行列に基づくスコアの観点から広く行われている。
しかし、データセットは難易度が異なる複数のインスタンスから構成される。
したがって、データセット全体のスコアを比較するよりも、個々のインスタンス上でのMLモデルの有効性を比較する方が論理的である。
本稿では,データセット内の個々のインスタンスの観点から,教師付きMLモデルの直接比較を行う方法を提案する。
emph{Prayatul Matrix}と呼ばれる直接比較行列が導入され、データセットの異なるインスタンス上での2つのMLアルゴリズムの比較結果が説明される。
祈願行列に基づく5つの異なるパフォーマンス尺度が設計されている。
提案手法の有効性を3つのデータセットの4つの分類手法を用いて評価した。
また、ResNet50V2、MobileNetV2、EfficientNet、XceptionNetという4つのディープラーニングモデルを持つ4つの大規模な複雑なイメージデータセットを分析した。
その結果、新たに設計された尺度は、既存の混乱行列ベースのスコア(精度、精度、リコール)では不可能なMLアルゴリズムの比較について、より多くの洞察を与えることができることが明らかとなった。
関連論文リスト
- MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳（メタデータ） (2023-08-25T01:41:04Z) - MV-JAR: Masked Voxel Jigsaw and Reconstruction for LiDAR-Based
Self-Supervised Pre-Training [58.07391711548269]
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
論文 参考訳（メタデータ） (2023-03-23T17:59:02Z) - Impact of PolSAR pre-processing and balancing methods on complex-valued
neural networks segmentation tasks [9.6556424340252]
複素値ニューラルネットワーク(CVNN)を用いたポラリメトリック合成開口レーダ(PolSAR)のセマンティックセグメンテーションについて検討する。
6つのモデルアーキテクチャ,3つの複素値,それぞれの実等価モデルについて,両手法を徹底的に比較する。
本稿では、このギャップを減らし、全ての入力表現、モデル、データセット前処理の結果を実行するための2つの方法を提案する。
論文 参考訳（メタデータ） (2022-10-28T12:49:43Z) - Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。
Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文 参考訳（メタデータ） (2021-10-07T11:58:35Z) - Facilitating Machine Learning Model Comparison and Explanation Through A
Radial Visualisation [7.343688084393597]
動的な機能数を持つMLモデルの依存は、MLモデルとその依存機能を直接明らかにする視覚化の構造に符号化される。
可視化の構造とともに、特徴の重要性はML説明のためのRadialNet Chartで直接見分けることができます。
論文 参考訳（メタデータ） (2021-04-15T11:13:48Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - Machine learning with incomplete datasets using multi-objective
optimization models [1.933681537640272]
分類モデルが学習されている間、欠落した値を扱うオンラインアプローチを提案する。
命令とモデル選択のための2つの目的関数を持つ多目的最適化モデルを開発する。
NSGA IIに基づく進化的アルゴリズムを用いて最適解を求める。
論文 参考訳（メタデータ） (2020-12-04T03:44:33Z) - StackGenVis: Alignment of Data, Algorithms, and Models for Stacking Ensemble Learning Using Performance Metrics [4.237343083490243]
機械学習(ML)では、バッグング、ブースティング、スタックングといったアンサンブル手法が広く確立されている。
StackGenVisは、スタック化された一般化のためのビジュアル分析システムである。
論文 参考訳（メタデータ） (2020-05-04T15:43:55Z) - Machine Learning Pipeline for Pulsar Star Dataset [58.720142291102135]
この作業は、最も一般的な機械学習(ML)アルゴリズムをまとめるものだ。
目的は、不均衡なデータの集合から得られた結果のレベルの比較を行うことである。
論文 参考訳（メタデータ） (2020-05-03T23:35:44Z) - Discrete-Valued Latent Preference Matrix Estimation with Graph Side
Information [12.836994708337144]
最適なサンプルの複雑さにマッチするアルゴリズムを開発する。
我々のアルゴリズムはエラーをモデル化し、予測性能の点で既存のアルゴリズムより優れている。
論文 参考訳（メタデータ） (2020-03-16T06:29:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。