論文の概要: Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms

• arxiv url: http://arxiv.org/abs/2307.07134v1
• Date: Fri, 14 Jul 2023 03:15:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-17 14:59:59.971564
• Title: Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms
• Title（参考訳）: 機械学習アルゴリズムの多次元能力診断
• Authors: Qi Liu, Zheng Gong, Zhenya Huang, Chuanren Liu, Hengshu Zhu, Zhi Li, Enhong Chen and Hui Xiong
• Abstract要約: 本稿では,機械学習アルゴリズム評価のためのタスク非依存評価フレームワークCamillaを提案する。 認識診断の仮定とニューラルネットワークを用いて、各サンプルのアルゴリズム、サンプル、スキル間の複雑な相互作用を学習する。 我々の実験では、カミラはメートル法信頼性、ランクの整合性、ランクの安定性で最先端のベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 88.93372675846123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning algorithms have become ubiquitous in a number of applications (e.g. image classification). However, due to the insufficient measurement of traditional metrics (e.g. the coarse-grained Accuracy of each classifier), substantial gaps are usually observed between the real-world performance of these algorithms and their scores in standardized evaluations. In this paper, inspired by the psychometric theories from human measurement, we propose a task-agnostic evaluation framework Camilla, where a multi-dimensional diagnostic metric Ability is defined for collaboratively measuring the multifaceted strength of each machine learning algorithm. Specifically, given the response logs from different algorithms to data samples, we leverage cognitive diagnosis assumptions and neural networks to learn the complex interactions among algorithms, samples and the skills (explicitly or implicitly pre-defined) of each sample. In this way, both the abilities of each algorithm on multiple skills and some of the sample factors (e.g. sample difficulty) can be simultaneously quantified. We conduct extensive experiments with hundreds of machine learning algorithms on four public datasets, and our experimental results demonstrate that Camilla not only can capture the pros and cons of each algorithm more precisely, but also outperforms state-of-the-art baselines on the metric reliability, rank consistency and rank stability.
• Abstract（参考訳）: 機械学習アルゴリズムは多くのアプリケーション(画像分類など)においてユビキタスになっている。 しかし、従来の測定値(例えば、各分類器の粗い粒度の精度)が不十分なため、これらのアルゴリズムの実際の性能と標準化された評価におけるスコアとの間には、かなりのギャップが通常観察される。 本稿では,人間の測定から得られる心理測定理論に着想を得て,機械学習アルゴリズムの多面的強度を協調的に測定する多次元診断計量能力を定義するタスク非依存評価フレームワークCamillaを提案する。 具体的には、異なるアルゴリズムからデータサンプルへの応答ログを考えると、認知診断の仮定とニューラルネットワークを利用して、各サンプルのアルゴリズム、サンプル、スキル(説明的または暗黙的に定義された)間の複雑なインタラクションを学習する。 このようにして、複数のスキルにおける各アルゴリズムの能力といくつかのサンプル要因(サンプル難易度など)を同時に定量化することができる。 4つの公開データセット上で数百の機械学習アルゴリズムを用いた広範囲な実験を行い,各アルゴリズムの長所と短所をより正確に把握できるだけでなく,メートル法信頼性,ランク一貫性,ランク安定性において最先端のベースラインを上回っていることを示した。

関連論文リスト

• A General Online Algorithm for Optimizing Complex Performance Metrics [5.726378955570775]
  我々は,バイナリ,マルチクラス,マルチラベルの分類問題において,様々な複雑なパフォーマンス指標を用いて,直接的に使用可能な汎用オンラインアルゴリズムを導入,分析する。 アルゴリズムの更新と予測のルールは、過去のデータを保存することなく、非常にシンプルで計算的に効率的である。
  論文  参考訳（メタデータ） (2024-06-20T21:24:47Z)
• Matched Machine Learning: A Generalized Framework for Treatment Effect Inference With Learned Metrics [87.05961347040237]
  我々は、機械学習ブラックボックスの柔軟性とマッチングの解釈可能性を組み合わせたフレームワークであるMatched Machine Learningを紹介する。 我々のフレームワークは機械学習を用いて、一致した単位を学習し、結果を推定する最適な指標を学習する。 一致機械学習のインスタンスはブラックボックスの機械学習手法と同等に動作し、類似した問題に対する既存のマッチング手法よりも優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2023-04-03T19:32:30Z)
• Encoding of data sets and algorithms [0.0]
  多くの高インパクトアプリケーションにおいて、機械学習アルゴリズムの出力品質を保証することが重要である。 我々は、ある指標の観点から、どのモデルが互いに近いかを決定するために、数学的に厳密な理論を開始した。 このグリッドに作用する所定のしきい値メートル法は、それぞれのアルゴリズムと関心のデータセットから、任意のアプリケーションに近接性(または統計的距離)を表現します。
  論文  参考訳（メタデータ） (2023-03-02T05:29:27Z)
• Differential testing for machine learning: an analysis for classification algorithms beyond deep learning [7.081604594416339]
  我々はScikit-learn, Weka, Spark MLlib, Caretを用いてケーススタディを行う。 複数のフレームワークでどのアルゴリズムが利用できるかを考慮し、差分テストの可能性を特定する。 他のフレームワークで同じ設定を判断できないことが多いため、実現可能性には制限があるように思える。
  論文  参考訳（メタデータ） (2022-07-25T08:27:01Z)
• Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
  クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。 表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
  論文  参考訳（メタデータ） (2022-06-16T11:44:11Z)
• Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or Something Else? [93.91375268580806]
  政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。 既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。 既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
  論文  参考訳（メタデータ） (2021-11-09T13:30:34Z)
• Estimating informativeness of samples with Smooth Unique Information [108.25192785062367]
  サンプルが最終的な重みを知らせる量と、重みによって計算される関数を知らせる量を測定します。 線形化ネットワークを用いてこれらの量の効率的な近似を行う。 本稿では,データセットの要約など,いくつかの問題に適用する。
  論文  参考訳（メタデータ） (2021-01-17T10:29:29Z)
• Benchmarking Simulation-Based Inference [5.3898004059026325]
  確率的モデリングの最近の進歩は、確率の数値的評価を必要としないシミュレーションに基づく推論アルゴリズムを多数もたらした。 推論タスクと適切なパフォーマンス指標を備えたベンチマークを,アルゴリズムの初期選択とともに提供する。 性能指標の選択は重要であり、最先端のアルゴリズムでさえ改善の余地があり、逐次推定によりサンプリング効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-01-12T18:31:22Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。