論文の概要: A Lightweight Measure of Classification Difficulty from Application Dataset Characteristics

• arxiv url: http://arxiv.org/abs/2404.05981v1
• Date: Tue, 9 Apr 2024 03:27:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 16:08:32.953644
• Title: A Lightweight Measure of Classification Difficulty from Application Dataset Characteristics
• Title（参考訳）: 応用データセット特性による分類難度の軽量化
• Authors: Bryan Bo Cao, Abhinav Sharma, Lawrence O'Gorman, Michael Coss, Shubham Jain,
• Abstract要約: 本稿では,データセットのクラス数とクラス内およびクラス間類似度指標から算出した効率的な分類難度尺度を提案する。 この尺度は,反復的なトレーニングやテストよりも,小さなデータセットに対して6～29倍高速に計算効率の高いモデルを選択する上で有効であることを示す。
• 参考スコア（独自算出の注目度）: 4.220363193932374
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite accuracy and computation benchmarks being widely available to help choose among neural network models, these are usually trained on datasets with many classes, and do not give a precise idea of performance for applications of few (< 10) classes. The conventional procedure to predict performance is to train and test repeatedly on the different models and dataset variations of interest. However, this is computationally expensive. We propose an efficient classification difficulty measure that is calculated from the number of classes and intra- and inter-class similarity metrics of the dataset. After a single stage of training and testing per model family, relative performance for different datasets and models of the same family can be predicted by comparing difficulty measures - without further training and testing. We show how this measure can help a practitioner select a computationally efficient model for a small dataset 6 to 29x faster than through repeated training and testing. We give an example of use of the measure for an industrial application in which options are identified to select a model 42% smaller than the baseline YOLOv5-nano model, and if class merging from 3 to 2 classes meets requirements, 85% smaller.
• Abstract（参考訳）: 精度と計算ベンチマークはニューラルネットワークモデルの選択を支援するために広く利用されていますが、通常は多くのクラスを持つデータセットでトレーニングされています。 パフォーマンスを予測するための従来の手法は、異なるモデルとデータセットのバリエーションをトレーニングし、繰り返しテストすることである。 しかし、これは計算コストが高い。 本稿では,データセットのクラス数とクラス内およびクラス間類似度指標から算出した効率的な分類難度尺度を提案する。 モデルファミリごとのトレーニングとテストの単一段階の後、異なるデータセットと同じファミリのモデルに対する相対的なパフォーマンスは、さらなるトレーニングやテストなしに、困難な測定値を比較することで予測できる。 この尺度は,反復的なトレーニングやテストよりも,小さなデータセットに対して6～29倍高速に計算効率の高いモデルを選択する上で有効であることを示す。 本稿では, 工業アプリケーションにおいて, ベースライン YOLOv5-nano モデルよりも 42% 小さいモデルを選択するオプションが特定され, 3 クラスから 2 クラスのクラスにマージするクラスが要件を満たす場合, 85% より小さいモデルを選択する方法の例を示す。

関連論文リスト

• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning [89.98353600316285]
  擬似ラベルサンプリングのモデル化プロセスに不確実性を導入し、各クラスにおけるモデル性能が異なる訓練段階によって異なることを考慮した。 このアプローチにより、モデルは異なる訓練段階における擬似ラベルの不確かさを認識でき、それによって異なるクラスの選択閾値を適応的に調整できる。 FixMatchのような他の手法と比較して、UDTSは自然シーン画像データセットの精度を少なくとも5.26%、1.75%、9.96%、1.28%向上させる。
  論文  参考訳（メタデータ） (2024-01-09T08:59:39Z)
• Stabilizing Subject Transfer in EEG Classification with Divergence Estimation [17.924276728038304]
  脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。 理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。 我々は、これらの関係を2段階で強制する正規化罰則を設計する。
  論文  参考訳（メタデータ） (2023-10-12T23:06:52Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Benchmarking Learning Efficiency in Deep Reservoir Computing [23.753943709362794]
  我々は、機械学習モデルがトレーニングデータからいかに早く学習するかを測定するために、データ効率の指標とともに、ますます困難なタスクのベンチマークを導入する。 我々は、RNN、LSTM、Transformersなどの確立された逐次教師付きモデルの学習速度を、貯水池計算に基づく比較的知られていない代替モデルと比較する。
  論文  参考訳（メタデータ） (2022-09-29T08:16:52Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Learning to Fairly Classify the Quality of Wireless Links [0.5352699766206808]
  本稿では,高性能な木質リンク品質分類器を提案し,マイノリティクラスを公平に分類する。 選択された不均衡データセット上で,木モデルとMLP非線形モデルと2つの線形モデル,すなわちロジスティック回帰(LR)とSVMを比較した。 本研究は,(1)非線形モデルが一般に線形モデルよりも若干優れていること,2)提案する非線形木ベースモデルが,f1,トレーニング時間,公平性を考慮した最高のパフォーマンストレードオフをもたらすこと,3)正確性のみに基づく単一メトリクス集約評価が貧弱であることを示す。
  論文  参考訳（メタデータ） (2021-02-23T12:23:27Z)
• It's the Best Only When It Fits You Most: Finding Related Models for Serving Based on Dynamic Locality Sensitive Hashing [1.581913948762905]
  トレーニングデータの作成は、生産や研究のためにディープラーニングモデルをデプロイするライフサイクルにおいて、しばしばボトルネックとなる。 本稿では,対象のデータセットと利用可能なモデルのトレーニングデータセットの類似性に基づいて,関連するモデルを検索してサービスするエンド・ツー・エンドプロセスを提案する。
  論文  参考訳（メタデータ） (2020-10-13T22:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。