論文の概要: Contrastive Classification and Representation Learning with Probabilistic Interpretation

• arxiv url: http://arxiv.org/abs/2211.03646v1
• Date: Mon, 7 Nov 2022 15:57:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 16:19:51.985398
• Title: Contrastive Classification and Representation Learning with Probabilistic Interpretation
• Title（参考訳）: 確率的解釈による比較分類と表現学習
• Authors: Rahaf Aljundi, Yash Patel, Milan Sulc, Daniel Olmeda, Nikolay Chumerin
• Abstract要約: クロスエントロピー損失は、分類に基づくタスクの主目的関数として機能している。 ネットワークの分類器とバックボーンのパラメータを協調的に学習する教師付きコントラスト訓練の新バージョンを提案する。
• 参考スコア（独自算出の注目度）: 5.979778557940212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross entropy loss has served as the main objective function for classification-based tasks. Widely deployed for learning neural network classifiers, it shows both effectiveness and a probabilistic interpretation. Recently, after the success of self supervised contrastive representation learning methods, supervised contrastive methods have been proposed to learn representations and have shown superior and more robust performance, compared to solely training with cross entropy loss. However, cross entropy loss is still needed to train the final classification layer. In this work, we investigate the possibility of learning both the representation and the classifier using one objective function that combines the robustness of contrastive learning and the probabilistic interpretation of cross entropy loss. First, we revisit a previously proposed contrastive-based objective function that approximates cross entropy loss and present a simple extension to learn the classifier jointly. Second, we propose a new version of the supervised contrastive training that learns jointly the parameters of the classifier and the backbone of the network. We empirically show that our proposed objective functions show a significant improvement over the standard cross entropy loss with more training stability and robustness in various challenging settings.
• Abstract（参考訳）: クロスエントロピー損失は、分類に基づくタスクの主要な目的関数となっている。 ニューラルネットワーク分類器を学習するために広くデプロイされ、有効性と確率論的解釈の両方を示す。 近年,自己指導型コントラスト表現学習法の成功により,自己指導型コントラスト表現学習法が提案されている。 しかし、最終分類層を訓練するにはクロスエントロピー損失が必要である。 本研究では,コントラスト学習の頑健性とクロスエントロピー損失の確率論的解釈を組み合わせた1つの目的関数を用いた表現と分類器の学習の可能性を検討する。 まず,クロスエントロピー損失を近似したコントラストに基づく目的関数を再検討し,分類器を協調的に学習するための簡単な拡張を提案する。 第2に,分類器のパラメータとネットワークのバックボーンを協調的に学習する教師付きコントラスト訓練の新バージョンを提案する。 提案する目的関数は,様々な課題において,標準クロスエントロピー損失よりも高いトレーニング安定性とロバスト性を示すことが実証的に示されている。

関連論文リスト

• Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification [11.072083437769093]
  我々は不均衡テキスト分類タスクのためのSharpReCLという新しいモデルを提案する。 私たちのモデルは、いくつかのデータセットで人気のある大きな言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-05-19T11:33:49Z)
• Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
  本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。 提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
  論文  参考訳（メタデータ） (2024-05-17T19:49:02Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Efficient Self-Supervision using Patch-based Contrastive Learning for Histopathology Image Segmentation [0.456877715768796]
  画像パッチに対するコントラスト学習を用いた自己教師型画像分割のためのフレームワークを提案する。 完全畳み込みニューラルネットワーク(FCNN)は、入力画像の特徴を識別するために、自己教師型で訓練される。 提案したモデルは10.8kパラメータを持つ単純なFCNNで構成され、高解像度の顕微鏡データセットに収束するのに約5分を要する。
  論文  参考訳（メタデータ） (2022-08-23T07:24:47Z)
• Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
  ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。 これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。 我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
  論文  参考訳（メタデータ） (2021-11-11T15:15:11Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• Contrastive Learning based Hybrid Networks for Long-Tailed Image Classification [31.647639786095993]
  画像表現の教師付きコントラスト損失と、分類器を学習するためのクロスエントロピー損失からなる新しいハイブリッドネットワーク構造を提案する。 3つの長尾分類データセットに関する実験は、長尾分類における比較学習に基づくハイブリッドネットワークの提案の利点を示している。
  論文  参考訳（メタデータ） (2021-03-26T05:22:36Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。