論文の概要: Regularizing Neural Network Training via Identity-wise Discriminative Feature Suppression

• arxiv url: http://arxiv.org/abs/2209.14553v2
• Date: Sun, 2 Oct 2022 00:07:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 10:53:08.606242
• Title: Regularizing Neural Network Training via Identity-wise Discriminative Feature Suppression
• Title（参考訳）: 識別的特徴抑圧によるニューラルネットワークトレーニングの規則化
• Authors: Avraham Chapman, Lingqiao Liu
• Abstract要約: トレーニングサンプルの数が少ない場合、あるいはクラスラベルがうるさい場合、ネットワークはトレーニングエラーを最小限に抑えるために個々のインスタンス固有のパターンを記憶する傾向がある。 本稿では、経験的エラー最小化のために、インスタンス固有のパターンに依存するネットワークの傾向を抑えることで、改善策を検討する。
• 参考スコア（独自算出の注目度）: 20.89979858757123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well-known that a deep neural network has a strong fitting capability and can easily achieve a low training error even with randomly assigned class labels. When the number of training samples is small, or the class labels are noisy, networks tend to memorize patterns specific to individual instances to minimize the training error. This leads to the issue of overfitting and poor generalisation performance. This paper explores a remedy by suppressing the network's tendency to rely on instance-specific patterns for empirical error minimisation. The proposed method is based on an adversarial training framework. It suppresses features that can be utilized to identify individual instances among samples within each class. This leads to classifiers only using features that are both discriminative across classes and common within each class. We call our method Adversarial Suppression of Identity Features (ASIF), and demonstrate the usefulness of this technique in boosting generalisation accuracy when faced with small datasets or noisy labels. Our source code is available.
• Abstract（参考訳）: ディープニューラルネットワークは、強い適合能力を有し、ランダムに割り当てられたクラスラベルであっても、トレーニングエラーの少ないことがよく知られている。 トレーニングサンプルの数が少ない場合やクラスラベルが騒がしい場合、ネットワークはトレーニングエラーを最小限にするために個々のインスタンス特有のパターンを記憶する傾向がある。 これは過剰適合と一般化性能の低下につながる。 本稿では,ネットワークが経験的エラー最小化のためにインスタンス固有のパターンに依存する傾向を抑制することで,対処方法を検討する。 提案手法は, 敵対的学習枠組みに基づいている。 各クラス内のサンプル内の個々のインスタンスを識別するために使用できる機能を抑制する。 これにより、クラス間で識別され、各クラス内で共通する機能のみを使用する分類器が生成される。 我々は,この手法をadversarial suppression of identity features (asif)と呼び,小型データセットやノイズラベルに直面する場合の一般化精度の向上に有用性を示す。 私たちのソースコードは利用可能です。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Generalization Bounds for Few-Shot Transfer Learning with Pretrained Classifiers [26.844410679685424]
  本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。 クラス-機能-変数の崩壊の場合,新しいクラスで学習した特徴マップのわずかな誤差が小さいことを示す。
  論文  参考訳（メタデータ） (2022-12-23T18:46:05Z)
• Learning from Data with Noisy Labels Using Temporal Self-Ensemble [11.245833546360386]
  ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。 現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。 本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-21T08:16:31Z)
• Learning to Detect Instance-level Salient Objects Using Complementary Image Labels [55.049347205603304]
  本報告では,本問題に対する第1の弱教師付きアプローチを提案する。 本稿では,候補対象の特定にクラス整合性情報を活用するSaliency Detection Branch,オブジェクト境界をデライン化するためにクラス整合性情報を利用するBundary Detection Branch,サブティナイズ情報を用いたCentroid Detection Branchを提案する。
  論文  参考訳（メタデータ） (2021-11-19T10:15:22Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Semi-Supervised Learning using Siamese Networks [3.492636597449942]
  本研究は,シームズネットワークを用いた類似度関数学習に基づく,半教師付き学習の新しい学習方法を提案する。 ラベルのないインスタンスの信頼性予測は、シームズネットワークを再トレーニングするための真のラベルとして使用される。 ラベルのない予測を改善するため,グローバルな一貫性を備えた局所学習も評価した。
  論文  参考訳（メタデータ） (2021-09-02T09:06:35Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
  ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。 本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-27T13:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。