論文の概要: ClonalNet: Classifying Better by Focusing on Confusing Categories

• arxiv url: http://arxiv.org/abs/2110.07307v1
• Date: Thu, 14 Oct 2021 12:22:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 14:47:43.823323
• Title: ClonalNet: Classifying Better by Focusing on Confusing Categories
• Title（参考訳）: ClonalNet: カテゴリの混同に注目して、よりよい分類を行う
• Authors: Xue Zhang, Hui-Liang Shen
• Abstract要約: 事前学習したベースラインから派生した混乱したカテゴリを識別するネットワークであるClnalNetを提案する。 実験により、ClnalNetはベースラインネットワークと知識蒸留を著しく上回っていることが示された。
• 参考スコア（独自算出の注目度）: 12.786774419738748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing neural classification networks predominately adopt one-hot encoding due to its simplicity in representing categorical data. However, the one-hot representation neglects inter-category correlations, which may result in poor generalization. Herein, we observe that a pre-trained baseline network has paid attention to the target image region even though it incorrectly predicts the image, revealing which categories confuse the baseline. This observation motivates us to consider inter-category correlations. Therefore, we propose a clonal network, named ClonalNet, which learns to discriminate between confusing categories derived from the pre-trained baseline. The ClonalNet architecture can be identical or smaller than the baseline architecture. When identical, ClonalNet is a clonal version of the baseline but does not share weights. When smaller, the training process of ClonalNet resembles that of the standard knowledge distillation. The difference from knowledge distillation is that we design a focusing-picking loss to optimize ClonalNet. This novel loss enforces ClonalNet to concentrate on confusing categories and make more confident predictions on ground-truth labels with the baseline reference. Experiments show that ClonalNet significantly outperforms baseline networks and knowledge distillation.
• Abstract（参考訳）: 既存のニューラルネットワークは、分類データの表現の単純さから、1ホット符号化を優先的に採用している。 しかし、1ホット表現はカテゴリ間の相関を無視し、一般化が不十分になる可能性がある。 本稿では,トレーニング済みのベースラインネットワークが,イメージを誤って予測しても対象の画像領域に注意を払い,どのカテゴリがベースラインを混乱させるかを明らかにする。 この観察はカテゴリー間相関を考える動機となる。 そこで我々は,事前学習したベースラインから派生した混乱したカテゴリを識別するクローンネットワークであるClnalNetを提案する。 clonalnetアーキテクチャは、ベースラインアーキテクチャと同一か、あるいは小さくすることができる。 同一の場合、clonalnetはベースラインのクローンバージョンであるが、重みを共有しない。 より小さくすると、ClnalNetのトレーニングプロセスは標準的な知識蒸留と似ている。 知識蒸留との違いは、clonalnetを最適化するためにフォーカスピッキング損失を設計することです。 この新たな損失は、ClnalNetを混乱したカテゴリに集中させ、ベースライン参照で、より確実な予測を行う。 実験の結果、ClnalNetはベースラインネットワークと知識蒸留を著しく上回ることがわかった。

関連論文リスト

• Stitching for Neuroevolution: Recombining Deep Neural Networks without Breaking Them [0.0]
  神経進化への伝統的なアプローチは、しばしばゼロから始まる。 アーキテクチャと特徴表現が典型的に異なるため、トレーニングされたネットワークの再結合は簡単ではない。 我々は、クロスオーバーポイントで新しいレイヤを導入することで、ネットワークをマージするステアリングを採用しています。
  論文  参考訳（メタデータ） (2024-03-21T08:30:44Z)
• Fine-grained Recognition with Learnable Semantic Data Augmentation [68.48892326854494]
  きめ細かい画像認識は、長年続くコンピュータビジョンの課題である。 本稿では,識別領域損失問題を軽減するため,特徴レベルのトレーニングデータを多様化することを提案する。 本手法は,いくつかの人気分類ネットワーク上での一般化性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-09-01T11:15:50Z)
• How does Contrastive Learning Organize Images? [8.077578967149561]
  コントラスト学習(Contrastive Learning)は、同じ入力の増大と異なる入力の相違の表現において類似性を強調している。 近年の研究はこの直接的な関係に挑戦し、帰納的バイアスの重要な役割を浮き彫りにしている。 この差を捉えるために、RLD(Relative Local Density)メトリクスを導入します。
  論文  参考訳（メタデータ） (2023-05-17T14:10:54Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
  ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。 我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。 以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-02-05T21:19:41Z)
• Class-Discriminative CNN Compression [10.675326899147802]
  我々は,CNNのトレーニング目標を促進するために,プルーニングと蒸留の両方でクラス識別を注入するクラス識別圧縮(CDC)を提案する。 CDC は CIFAR と ILSVRC 2012 で評価されている。
  論文  参考訳（メタデータ） (2021-10-21T02:54:05Z)
• Instance-based Label Smoothing For Better Calibrated Classification Networks [3.388509725285237]
  ラベルの平滑化はディープニューラルネットワークで多クラス分類に広く利用されている。 ラベルのスムース化と自己蒸留の両方からインスピレーションを得ます。 本稿では2つの新しいインスタンスベースのラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:33:23Z)
• Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
  過パラメータのニューラルネットワークが制約を満たしていることを示す。 公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
  論文  参考訳（メタデータ） (2020-12-30T18:46:50Z)
• Separation and Concentration in Deep Networks [1.8620637029128544]
  ディープニューラルネットワーク分類器は、平均周りのクラス分布を段階的に分離する。 画像分類では,学習されていないウェーブレットタイトフレームを用いてクラス平均の分離を実現できることを示す。 得られた散乱ネットワークは、CIFAR-10とImageNet上のResNet-18の分類精度に達する。
  論文  参考訳（メタデータ） (2020-12-18T18:27:37Z)
• Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
  類似サンプル間の予測分布を解析する新しい正規化法を提案する。 これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。 画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-31T06:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。