論文の概要: Fair Comparison: Quantifying Variance in Resultsfor Fine-grained Visual Categorization

• arxiv url: http://arxiv.org/abs/2109.03156v1
• Date: Tue, 7 Sep 2021 15:47:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 18:07:04.537124
• Title: Fair Comparison: Quantifying Variance in Resultsfor Fine-grained Visual Categorization
• Title（参考訳）: Fair Comparison: きめ細かい視覚分類結果のばらつきの定量化
• Authors: Matthew Gwilliam (1 and 2), Adam Teuscher (1), Connor Anderson (1), Ryan Farrell (1) ((1) Brigham Young University, (2) University of Maryland)
• Abstract要約: 平均的な分類精度は、しばしば孤立して用いられる。 クラスの数が増加するにつれて、平均精度だけで伝達される情報の量は減少する。 その最も壮大な弱点は、クラスごとにモデルのパフォーマンスを記述できないことだが、平均的な精度は、同じアーキテクチャのトレーニングされたモデルから別のアーキテクチャへ、パフォーマンスがどのように変化するかを記述できない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For the task of image classification, researchers work arduously to develop the next state-of-the-art (SOTA) model, each bench-marking their own performance against that of their predecessors and of their peers. Unfortunately, the metric used most frequently to describe a model's performance, average categorization accuracy, is often used in isolation. As the number of classes increases, such as in fine-grained visual categorization (FGVC), the amount of information conveyed by average accuracy alone dwindles. While its most glaring weakness is its failure to describe the model's performance on a class-by-class basis, average accuracy also fails to describe how performance may vary from one trained model of the same architecture, on the same dataset, to another (both averaged across all categories and at the per-class level). We first demonstrate the magnitude of these variations across models and across class distributions based on attributes of the data, comparing results on different visual domains and different per-class image distributions, including long-tailed distributions and few-shot subsets. We then analyze the impact various FGVC methods have on overall and per-class variance. From this analysis, we both highlight the importance of reporting and comparing methods based on information beyond overall accuracy, as well as point out techniques that mitigate variance in FGVC results.
• Abstract（参考訳）: 画像分類の課題として、研究者は次の最先端(SOTA)モデルの開発に熱心に取り組んでおり、各ベンチは前任者やその仲間に対して自身のパフォーマンスを示す。 残念ながら、モデルのパフォーマンス、平均的な分類精度を記述するために最も頻繁に使用されるメトリクスは、しばしば孤立して使用される。 細粒度視覚分類(FGVC)などのクラス数が増加するにつれて、平均精度だけで伝達される情報の量は減少する。 最も明らかな弱点は、クラスごとにモデルのパフォーマンスを記述できないことだが、平均的な精度は、同じアーキテクチャのトレーニングされたモデル、同じデータセットから、(クラスごとに平均して)別のモデルまで、パフォーマンスがどう変化するかの記述に失敗している。 まず,データ属性に基づくモデル間およびクラス分布間の変動の大きさを,長期分布や少数ショットサブセットを含む,異なる視覚領域およびクラスごとのイメージ分布による結果と比較した。 次に、FGVC法が全体およびクラスごとの分散に与える影響を分析する。 本分析から,FGVC結果のばらつきを緩和する手法を指摘するとともに,総合的精度以上の情報に基づく手法の報告と比較の重要性を強調した。

関連論文リスト

• Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
  最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。 本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。 そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:37:43Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Studying Generalization Through Data Averaging [0.0]
  本研究では,異なるデータセットのサンプルに対する差の平均から得られる一般化ギャップと,列車および試験性能について検討する。 我々はSGDノイズの関数として一般化ギャップとモデルトレインとテスト性能の相違についていくつかの側面を予測した。
  論文  参考訳（メタデータ） (2022-06-28T00:03:40Z)
• IMACS: Image Model Attribution Comparison Summaries [16.80986701058596]
  我々は,勾配に基づくモデル属性とアグリゲーションと可視化技術を組み合わせたIMACSを提案する。 IMACSは評価データセットから適切な入力特徴を抽出し、類似性に基づいてクラスタ化し、類似した入力特徴に対するモデル属性の違いを可視化する。 本稿では,衛星画像上で訓練した2つのモデル間の領域シフトによる行動差を明らかにする方法を示す。
  論文  参考訳（メタデータ） (2022-01-26T21:35:14Z)
• Selecting the suitable resampling strategy for imbalanced data classification regarding dataset properties [62.997667081978825]
  医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。 この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。 オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
  論文  参考訳（メタデータ） (2021-12-15T18:56:39Z)
• Score-Based Generative Classifiers [9.063815952852783]
  生成モデルは、MNISTのような単純なデータセット上で逆向きに堅牢な分類器として使われてきた。 これまでの結果は、データの可能性と分類精度のトレードオフを示唆している。 スコアに基づく生成モデルは,標準的な識別モデルと比較して,分類精度のギャップを埋めていることを示す。
  論文  参考訳（メタデータ） (2021-10-01T15:05:33Z)
• A Compositional Feature Embedding and Similarity Metric for Ultra-Fine-Grained Visual Categorization [16.843126268445726]
  きめ細かい視覚分類(FGVC)は、クラス間の差異が小さいオブジェクトを分類することを目的としている。 本稿では,超微細な視覚分類のための新しい構成的特徴埋め込みと類似度指標(CECS)を提案する。 最近のベンチマーク手法を用いた2つの超FGVCデータセットと1つのFGVCデータセットの実験結果から,提案手法が最先端性能を実現することを一貫して示している。
  論文  参考訳（メタデータ） (2021-09-25T15:05:25Z)
• Calibrating Class Activation Maps for Long-Tailed Visual Recognition [60.77124328049557]
  本稿では,CNNの長期分布からネットワーク学習を改善するための2つの効果的な修正を提案する。 まず,ネットワーク分類器の学習と予測を改善するために,CAMC (Class Activation Map) モジュールを提案する。 第2に,長期化問題における表現学習における正規化分類器の利用について検討する。
  論文  参考訳（メタデータ） (2021-08-29T05:45:03Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Rethinking Class-Balanced Methods for Long-Tailed Visual Recognition from a Domain Adaptation Perspective [98.70226503904402]
  現実世界のオブジェクトの周波数は、しばしば電力法則に従い、長い尾のクラス分布を持つデータセット間のミスマッチを引き起こす。 メタラーニング手法を用いて,クラス条件分布の違いを明示的に推定し,古典的なクラスバランス学習を強化することを提案する。
  論文  参考訳（メタデータ） (2020-03-24T11:28:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。