論文の概要: SimLoss: Class Similarities in Cross Entropy

• arxiv url: http://arxiv.org/abs/2003.03182v1
• Date: Fri, 6 Mar 2020 13:21:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 00:44:06.896308
• Title: SimLoss: Class Similarities in Cross Entropy
• Title（参考訳）: SimLoss:クロスエントロピーにおけるクラス類似性
• Authors: Konstantin Kobs, Michael Steininger, Albin Zehe, Florian Lautenschlager, Andreas Hotho
• Abstract要約: 我々はCCE(Categorical Cross Entropy)の代替品であるSimLossを紹介する。 SimLossはクラス類似性と、タスク固有の知識からそのような行列を構成する2つのテクニックを取り入れている。 年齢推定と画像分類のSimLossを検証したところ、いくつかの指標でCCEよりも大幅に改善されていることがわかった。
• 参考スコア（独自算出の注目度）: 3.814858728853163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One common loss function in neural network classification tasks is Categorical Cross Entropy (CCE), which punishes all misclassifications equally. However, classes often have an inherent structure. For instance, classifying an image of a rose as "violet" is better than as "truck". We introduce SimLoss, a drop-in replacement for CCE that incorporates class similarities along with two techniques to construct such matrices from task-specific knowledge. We test SimLoss on Age Estimation and Image Classification and find that it brings significant improvements over CCE on several metrics. SimLoss therefore allows for explicit modeling of background knowledge by simply exchanging the loss function, while keeping the neural network architecture the same. Code and additional resources can be found at https://github.com/konstantinkobs/SimLoss.
• Abstract（参考訳）: ニューラルネットワーク分類タスクにおける一般的な損失関数の1つはCCE(Categorical Cross Entropy)である。 しかし、クラスは固有の構造を持つことが多い。 例えば、バラのイメージを "violet" として分類することは、"truck" よりも優れている。 タスク固有の知識からそのような行列を構成する2つの手法とともにクラス類似性を取り入れたCCEのドロップイン置換であるSimLossを紹介する。 年齢推定と画像分類のSimLossを検証したところ、いくつかの指標でCCEよりも大幅に改善されていることがわかった。 従ってSimLossは、ニューラルネットワークアーキテクチャを同じに保ちながら、損失関数を単に交換することで、バックグラウンド知識の明示的なモデリングを可能にする。 コードと追加のリソースはhttps://github.com/konstantinkobs/SimLossにある。

関連論文リスト

• Improving SCGAN's Similarity Constraint and Learning a Better Disentangled Representation [0.0]
  SCGANは生成した画像と条件の類似性制約を生成的敵ネットワーク上の正規化用語として追加する。 我々はSCGANがより深いレベルでどのように機能するかを理解する。 高い理解と知性を持つモデルは、人間のように、その構造と高レベルの特徴に基づいて画像間の類似性を測定する。
  論文  参考訳（メタデータ） (2023-10-18T18:57:13Z)
• The Tree Loss: Improving Generalization with Many Classes [11.96892704837643]
  多クラス分類問題はしばしば意味論的に類似したクラスを持つ。 クロスエントロピー損失の代替として,木損失を導入している。 勾配降下の単純な性質を用いて、木損失の誤差はクロスエントロピー損失の誤差よりも一般化的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-16T05:46:36Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Towards Similarity-Aware Time-Series Classification [51.2400839966489]
  時系列データマイニングの基本課題である時系列分類(TSC)について検討する。 グラフニューラルネットワーク(GNN)を用いて類似情報をモデル化するフレームワークであるSimTSCを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:14:57Z)
• A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
  本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。 シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。 我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
  論文  参考訳（メタデータ） (2021-12-09T18:59:21Z)
• CC-Loss: Channel Correlation Loss For Image Classification [35.43152123975516]
  チャネル相関損失(CC-Loss)は、クラスとチャネル間の特定の関係を制約することができる。 提案したCC-Lossでトレーニングされた2つの異なるバックボーンモデルは、3つの画像分類データセットにおける最先端の損失関数より優れている。
  論文  参考訳（メタデータ） (2020-10-12T05:59:06Z)
• Adaptive Aggregation Networks for Class-Incremental Learning [102.20140790771265]
  CIL(Class-Incremental Learning)は,段階別クラス数の増加にともなう分類モデルを学習することを目的としている。 CILの固有の問題は、古いクラスと新しいクラスの学習の間の安定性-塑性ジレンマである。
  論文  参考訳（メタデータ） (2020-10-10T18:24:24Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Evaluation of Neural Architectures Trained with Square Loss vs Cross-Entropy in Classification Tasks [23.538629997497747]
  クロスエントロピー損失は、分類タスクの平方損失よりも経験的に優れていると広く信じられている。 これらのニューラルネットワークアーキテクチャは、正方形損失をトレーニングした場合に、相容れないか、より良く機能することを示す。 クロスエントロピーはコンピュータビジョンのタスクに多少の限界があるようだ。
  論文  参考訳（メタデータ） (2020-06-12T17:00:49Z)
• Equalization Loss for Long-Tailed Object Recognition [109.91045951333835]
  最先端のオブジェクト検出手法は、大きな語彙と長い尾を持つデータセットでは依然として不十分である。 そこで本稿では,長期的希少なカテゴリーの課題に対処するために,同化損失という,シンプルだが効果的な損失を提案する。 LVISベンチマークでは,レアおよび共通カテゴリのAP利得が4.1%,レアおよび共通カテゴリが4.8%である。
  論文  参考訳（メタデータ） (2020-03-11T09:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。