論文の概要: What can we learn from misclassified ImageNet images?

• arxiv url: http://arxiv.org/abs/2201.08098v1
• Date: Thu, 20 Jan 2022 10:08:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-21 21:50:21.608445
• Title: What can we learn from misclassified ImageNet images?
• Title（参考訳）: ImageNetの誤分類画像から何が学べるか?
• Authors: Shixian Wen, Amanda Sofie Rios, Kiran Lekkala, Laurent Itti
• Abstract要約: Superclassing ImageNet dataset"はImageNetのサブセットであり、それぞれ7-116のサブクラスを含む10のスーパークラスで構成されている。 このデータセット上でニューラルネットワークをトレーニングすることによって、以下のことが判明した。 (i) ミスクラス化は、スーパークラスにまたがることが多いが、主にスーパークラス内のサブクラスに属する。 本稿では,2段階のSuper-Subフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 12.275795405002262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the patterns of misclassified ImageNet images is particularly important, as it could guide us to design deep neural networks (DNN) that generalize better. However, the richness of ImageNet imposes difficulties for researchers to visually find any useful patterns of misclassification. Here, to help find these patterns, we propose "Superclassing ImageNet dataset". It is a subset of ImageNet which consists of 10 superclasses, each containing 7-116 related subclasses (e.g., 52 bird types, 116 dog types). By training neural networks on this dataset, we found that: (i) Misclassifications are rarely across superclasses, but mainly among subclasses within a superclass. (ii) Ensemble networks trained each only on subclasses of a given superclass perform better than the same network trained on all subclasses of all superclasses. Hence, we propose a two-stage Super-Sub framework, and demonstrate that: (i) The framework improves overall classification performance by 3.3%, by first inferring a superclass using a generalist superclass-level network, and then using a specialized network for final subclass-level classification. (ii) Although the total parameter storage cost increases to a factor N+1 for N superclasses compared to using a single network, with finetuning, delta and quantization aware training techniques this can be reduced to 0.2N+1. Another advantage of this efficient implementation is that the memory cost on the GPU during inference is equivalent to using only one network. The reason is we initiate each subclass-level network through addition of small parameter variations (deltas) to the superclass-level network. (iii) Finally, our framework promises to be more scalable and generalizable than the common alternative of simply scaling up a vanilla network in size, since very large networks often suffer from overfitting and gradient vanishing.
• Abstract（参考訳）: 分類ミスのイメージネット画像のパターンを理解することは特に重要であり、より一般化したディープニューラルネットワーク(DNN)の設計を導くことができる。 しかし、ImageNetの豊かさは、研究者が誤分類の有用なパターンを視覚的に見つけるのを困難にしている。 ここでは、これらのパターンを見つけるために、"Superclassing ImageNet data"を提案する。 ImageNetのサブセットで、それぞれ7-116のサブクラス(52種類の鳥、116種の犬)を含む10のスーパークラスで構成されている。 このデータセット上でニューラルネットワークをトレーニングすることで、 (i)過分類は、スーパークラスにまたがることが多いが、主にスーパークラス内のサブクラスに属する。 (ii)特定のスーパークラスのサブクラスのみを訓練したアンサンブルネットワークは、すべてのスーパークラスのすべてのサブクラスで訓練された同じネットワークよりもパフォーマンスが良い。 そこで,2段階のSuper-Subフレームワークを提案する。 (i)このフレームワークは、まず、ジェネラリストのスーパークラスレベルネットワークを用いてスーパークラスを推論し、次に、最終サブクラスレベル分類のための専用ネットワークを使用することにより、全体的な分類性能を3.3%向上させる。 (II)N級スーパークラスの総パラメータ記憶コストは、単一ネットワークと比較してN+1に増加するが、微調整、デルタ、量子化を意識したトレーニング技術により0.2N+1に削減できる。 この効率的な実装のもう1つの利点は、推論中のGPUのメモリコストが1つのネットワークのみを使用することである。 その理由は、サブクラスレベルのネットワークに小さなパラメータの変動(デルタ)を加えることで、各サブクラスレベルのネットワークを開始するからである。 (iii)最後に、非常に大きなネットワークが過フィッティングや勾配の消失に苦しむことが多いため、バニラネットワークのサイズをスケールアップするよりも、よりスケーラブルで汎用性のあるフレームワークを約束しています。

関連論文リスト

• Connection Reduction Is All You Need [0.10878040851637998]
  実証的な研究によると、畳み込みレイヤの積み重ねだけではネットワークのトレーニングが良くならない。 レイヤを接続する2つの新しいアルゴリズムを提案する。 ShortNet1は、Baselineよりも5%低いテストエラー率と25%速い推論時間を持っている。
  論文  参考訳（メタデータ） (2022-08-02T13:00:35Z)
• Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
  高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。 本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。 我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
  論文  参考訳（メタデータ） (2022-06-26T00:37:33Z)
• MutualNet: Adaptive ConvNet via Mutual Learning from Different Model Configurations [51.85020143716815]
  MutualNetは、リソース制約の多様なセットで実行できる単一のネットワークを訓練するために提案します。 提案手法は,様々なネットワーク幅と入力解像度を持つモデル構成のコホートを訓練する。 MutualNetは、さまざまなネットワーク構造に適用できる一般的なトレーニング方法論です。
  論文  参考訳（メタデータ） (2021-05-14T22:30:13Z)
• SGNet: A Super-class Guided Network for Image Classification and Object Detection [15.853822797338655]
  本稿では,高レベル意味情報をネットワークに統合するスーパークラス誘導ネットワーク(sgnet)を提案する。 実験結果は,提案手法を検証し,画像分類と物体検出において優れた性能を示す。
  論文  参考訳（メタデータ） (2021-04-26T22:26:12Z)
• ClassSR: A General Framework to Accelerate Super-Resolution Networks by Data Characteristic [35.02837100573671]
  大型画像(2K-8K)上での超解像(SR)ネットワークの高速化を目指す。 異なる画像領域は復元の困難度が異なり、異なるキャパシティを持つネットワークで処理できることがわかった。 分類とSRを統一したフレームワークで組み合わせた新しいソリューションパイプラインであるClassSRを提案する。
  論文  参考訳（メタデータ） (2021-03-06T06:00:31Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Attribute Propagation Network for Graph Zero-shot Learning [57.68486382473194]
  属性伝達ネットワーク (APNet) を導入し, 1) クラス毎に属性ベクトルを生成するグラフ伝搬モデルと, 2) パラメータ化隣人 (NN) 分類器から構成する。 APNetは、2つのゼロショット学習設定と5つのベンチマークデータセットによる実験で、魅力的なパフォーマンスまたは新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-24T16:53:40Z)
• Many-Class Few-Shot Learning on Multi-Granularity Class Hierarchy [57.68486382473194]
  我々は,教師付き学習とメタ学習の両方において,MCFS(Multi-class few-shot)問題について検討した。 本稿では,クラス階層を事前知識として活用し,粗大な分類器を訓練する。 モデル「メモリ拡張階層分類ネットワーク(MahiNet)」は、各粗いクラスが複数の細かなクラスをカバーできる粗い粒度分類を行う。
  論文  参考訳（メタデータ） (2020-06-28T01:11:34Z)
• Adjoined Networks: A Training Paradigm with Applications to Network Compression [3.995047443480282]
  本稿では、元のベースネットワークとより小さな圧縮ネットワークの両方を同時にトレーニングする学習パラダイムであるAdjoined Networks(AN)を紹介する。 ベースネットワークとしてResNet-50を使用すると、画像Netデータセット上の1.8Mパラメータと1.6GFLOPで71.8%のトップ-1の精度が達成される。 我々は,ニューラルネットワーク探索を用いて,より小さなネットワークの各レイヤの幅と重みを共同で学習し,ANを増強する訓練パラダイムであるDaniable Adjoined Networks (DAN)を提案する。
  論文  参考訳（メタデータ） (2020-06-10T02:48:16Z)
• Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
  ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T13:31:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。