論文の概要: Few-Class Arena: A Benchmark for Efficient Selection of Vision Models and Dataset Difficulty Measurement

• arxiv url: http://arxiv.org/abs/2411.01099v1
• Date: Sat, 02 Nov 2024 01:31:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:40:07.959139
• Title: Few-Class Arena: A Benchmark for Efficient Selection of Vision Models and Dataset Difficulty Measurement
• Title（参考訳）: Few-Class Arena: 視覚モデルの効率的な選択とデータセットの難易度測定のためのベンチマーク
• Authors: Bryan Bo Cao, Lawrence O'Gorman, Michael Coss, Shubham Jain,
• Abstract要約: Few-Class Arena (FCA) は、少数のクラスで効率的な画像分類モデルをテストするための統一ベンチマークである。 FCAは、Few-Class Regimeで効率的な機械学習のための新しいツールを提供する。新しい効率的なクラス類似性の提案から、軽量なモデルアーキテクチャ設計、新しいスケーリング法則まで幅広い目標がある。
• 参考スコア（独自算出の注目度）: 4.197377031038214
• License:
• Abstract: We propose Few-Class Arena (FCA), as a unified benchmark with focus on testing efficient image classification models for few classes. A wide variety of benchmark datasets with many classes (80-1000) have been created to assist Computer Vision architectural evolution. An increasing number of vision models are evaluated with these many-class datasets. However, real-world applications often involve substantially fewer classes of interest (2-10). This gap between many and few classes makes it difficult to predict performance of the few-class applications using models trained on the available many-class datasets. To date, little has been offered to evaluate models in this Few-Class Regime. We conduct a systematic evaluation of the ResNet family trained on ImageNet subsets from 2 to 1000 classes, and test a wide spectrum of Convolutional Neural Networks and Transformer architectures over ten datasets by using our newly proposed FCA tool. Furthermore, to aid an up-front assessment of dataset difficulty and a more efficient selection of models, we incorporate a difficulty measure as a function of class similarity. FCA offers a new tool for efficient machine learning in the Few-Class Regime, with goals ranging from a new efficient class similarity proposal, to lightweight model architecture design, to a new scaling law. FCA is user-friendly and can be easily extended to new models and datasets, facilitating future research work. Our benchmark is available at https://github.com/fewclassarena/fca.
• Abstract（参考訳）: そこで我々はFew-Class Arena (FCA) を,少数のクラスに対して効率的な画像分類モデルをテストするための統一ベンチマークとして提案する。 コンピュータビジョンアーキテクチャの進化を支援するために、様々なクラス (80-1000) のベンチマークデータセットが作成されている。 これらの多クラスデータセットを用いて、視覚モデルの数が増えると評価される。 しかし、現実世界のアプリケーションは関心のクラスがかなり少ない(2-10)場合が多い。 この多くのクラスと少数のクラス間のギャップは、利用可能な多クラスデータセットでトレーニングされたモデルを使用して、少数のクラスアプリケーションのパフォーマンスを予測するのを難しくする。 現在、このFew-Class Regimeでモデルを評価するために提供されているものはほとんどない。 我々は,ImageNetサブセットを2から1000のクラスでトレーニングしたResNetファミリーを体系的に評価し,新たに提案したFCAツールを用いて10データセットにわたる畳み込みニューラルネットワークとトランスフォーマーアーキテクチャの幅広いスペクトルをテストする。 さらに、データセットの難易度を事前評価し、モデルのより効率的な選択を支援するため、クラス類似性の関数として難易度尺度を組み込んだ。 FCAは、Few-Class Regimeで効率的な機械学習のための新しいツールを提供する。新しい効率的なクラス類似性の提案から、軽量なモデルアーキテクチャ設計、新しいスケーリング法則まで幅広い目標がある。 FCAはユーザフレンドリで、新しいモデルやデータセットに容易に拡張できるため、将来の研究作業が容易になる。 私たちのベンチマークはhttps://github.com/fewclassarena/fca.comで公開されています。

関連論文リスト

• Enabling Small Models for Zero-Shot Classification through Model Label Learning [50.68074833512999]
  モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。 7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
  論文  参考訳（メタデータ） (2024-08-21T09:08:26Z)
• Learning Cross-Modal Affinity for Referring Video Object Segmentation Targeting Limited Samples [61.66967790884943]
  ビデオオブジェクトセグメンテーション(RVOS)の参照は、所定のシーンに十分なデータに依存する。 より現実的なシナリオでは、新しいシーンで利用できるのは最小限のアノテーションだけです。 トランスフォーマーアーキテクチャに基づいた,新たに設計したクロスモーダル親和性(CMA)モジュールを用いたモデルを提案する。 CMAモジュールは、いくつかのサンプルでマルチモーダル親和性を構築し、新しいセマンティック情報を素早く学習し、モデルが異なるシナリオに適応できるようにする。
  論文  参考訳（メタデータ） (2023-09-05T08:34:23Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
  モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。 古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。 我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-03-31T13:46:41Z)
• Efficient deep learning models for land cover image classification [0.29748898344267777]
  土地利用土地被覆(LULC)画像分類のためのBigEarthNetデータセットを用いて実験を行った。 コンボリューションニューラルネットワーク、マルチ層パーセプトロン、ビジュアルトランスフォーマー、効率的なネットワーク、ワイド残留ネットワーク(WRN)など、さまざまな最先端モデルをベンチマークする。 提案する軽量モデルは、訓練可能なパラメータが桁違いに小さく、平均的なFスコア分類精度が19のLULCクラスすべてに対して4.5%向上し、ベースラインとして使用するResNet50の2倍高速に訓練される。
  論文  参考訳（メタデータ） (2021-11-18T00:03:14Z)
• Model Composition: Can Multiple Neural Networks Be Combined into a Single Network Using Only Unlabeled Data? [6.0945220518329855]
  本稿では,ラベルなしデータを用いた複数のトレーニングニューラルネットワークの組み合わせについて検討する。 提案手法は, ラベルのないデータから収集した疑似ラベルの生成, フィルタリング, 集約を利用する。 本手法は任意のアーキテクチャとカテゴリを持つ任意の入力モデルの使用をサポートする。
  論文  参考訳（メタデータ） (2021-10-20T04:17:25Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• NSGANetV2: Evolutionary Multi-Objective Surrogate-Assisted Neural Architecture Search [22.848528877480796]
  複数の競合対象下で競合するタスク固有モデルを生成するための効率的なNASアルゴリズムを提案する。 2つのサロゲートで構成され、1つはサンプル効率を改善するためにアーキテクチャレベルで、1つはスーパーネットを介して重量レベルで、勾配降下訓練効率を改善する。 提案手法の有効性と汎用性を6つの非標準データセットで示す。
  論文  参考訳（メタデータ） (2020-07-20T18:30:11Z)
• AutoFCL: Automatically Tuning Fully Connected Layers for Handling Small Dataset [13.909484906513102]
  提案したAutoFCLモデルは,ベイズ最適化を用いてCNNのFC層の構造を自動学習する。 新しく学習された(ターゲットに依存しない)FC層の微調整は、最先端のパフォーマンスをもたらす。 提案したAutoFCL法は,CalTech-101とOxford-102 Flowersデータセット上で既存の手法より優れている。
  論文  参考訳（メタデータ） (2020-01-22T08:39:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。