論文の概要: Discriminability-enforcing loss to improve representation learning

• arxiv url: http://arxiv.org/abs/2202.07073v1
• Date: Mon, 14 Feb 2022 22:31:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 14:30:14.551594
• Title: Discriminability-enforcing loss to improve representation learning
• Title（参考訳）: 表現学習改善のための識別可能性の低下
• Authors: Florinel-Alin Croitoru, Diana-Nicoleta Grigore, Radu Tudor Ionescu
• Abstract要約: 我々は、個々の高次特徴のエントロピーを最小化するために、ジニ不純物にインスパイアされた新しい損失項を導入する。 我々のGini損失は高い差別的特徴をもたらすが、高レベルの特徴の分布がクラスの分布と一致していることを保証するものではない。 実験結果から,新たな損失項をトレーニング目標に組み込むことで,クロスエントロピー単独でトレーニングしたモデルよりも一貫して優れた結果が得られた。
• 参考スコア（独自算出の注目度）: 20.4701676109641
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: During the training process, deep neural networks implicitly learn to represent the input data samples through a hierarchy of features, where the size of the hierarchy is determined by the number of layers. In this paper, we focus on enforcing the discriminative power of the high-level representations, that are typically learned by the deeper layers (closer to the output). To this end, we introduce a new loss term inspired by the Gini impurity, which is aimed at minimizing the entropy (increasing the discriminative power) of individual high-level features with respect to the class labels. Although our Gini loss induces highly-discriminative features, it does not ensure that the distribution of the high-level features matches the distribution of the classes. As such, we introduce another loss term to minimize the Kullback-Leibler divergence between the two distributions. We conduct experiments on two image classification data sets (CIFAR-100 and Caltech 101), considering multiple neural architectures ranging from convolutional networks (ResNet-17, ResNet-18, ResNet-50) to transformers (CvT). Our empirical results show that integrating our novel loss terms into the training objective consistently outperforms the models trained with cross-entropy alone.
• Abstract（参考訳）: トレーニングプロセス中、ディープニューラルネットワークは、階層のサイズがレイヤ数によって決定される特徴の階層を通じて、入力データサンプルの表現を暗黙的に学習する。 本稿では,より深い層(出力に近い層)によって学習される高次表現の識別力の強化に焦点をあてる。 そこで我々は,クラスラベルに対する個々の高次特徴のエントロピー(識別力の向上)を最小化することを目的とした,ジニ不純物にインスパイアされた新たな損失項を導入する。 我々のGini損失は高い差別的特徴をもたらすが、高レベルの特徴の分布がクラスの分布と一致していることを保証するものではない。 そこで,2つの分布間のkullback-leiblerの発散を最小限に抑えるために,新たな損失項を導入する。 畳み込みネットワーク(resnet-17,resnet-18,resnet-50)からトランスフォーマー(cvt)まで,複数のニューラルネットワークを考慮した2つの画像分類データセット(cifar-100とcaltech 101)の実験を行った。 実験結果から,新たな損失項をトレーニング目標に組み込むことで,クロスエントロピー単独でトレーニングしたモデルに一貫して勝ることが示された。

関連論文リスト

• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Deep Residual Compensation Convolutional Network without Backpropagation [0.0]
  数百の層でトレーニングされたPCANetライクなネットワークである残差補償畳み込みネットワークを導入する。 分類誤差を修正するため,各層に先行する各層の残余情報から得られた新しいラベルを学習する。 実験の結果、我々のディープネットワークは既存のPCANetのようなネットワークよりも優れており、従来の勾配モデルと競合していることがわかった。
  論文  参考訳（メタデータ） (2023-01-27T11:45:09Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Encoding Hierarchical Information in Neural Networks helps in Subpopulation Shift [8.01009207457926]
  ディープニューラルネットワークは画像分類のタスクに適していることが証明されている。 本研究では,新しい条件付き教師あり学習フレームワークのレンズを用いて,上記の問題について検討する。 この構造的階層的な学習によって、サブ人口移動に対してより堅牢なネットワークが得られることを示す。
  論文  参考訳（メタデータ） (2021-12-20T20:26:26Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
  ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。 本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-27T13:50:20Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)
• Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss [0.0]
  勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。 我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
  論文  参考訳（メタデータ） (2020-02-11T15:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。