論文の概要: A two-head loss function for deep Average-K classification

• arxiv url: http://arxiv.org/abs/2303.18118v1
• Date: Fri, 31 Mar 2023 15:04:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 13:37:15.975974
• Title: A two-head loss function for deep Average-K classification
• Title（参考訳）: 深部平均k分類のための2頭損失関数
• Authors: Camille Garcin, Maximilien Servajean, Alexis Joly, Joseph Salmon
• Abstract要約: 本稿では,従来のソフトマックスに加えて,複数ラベルの分類に基づく新たな損失関数を提案する。 このアプローチによって、モデルがクラス間のあいまいさをよりよく捉え、結果として、より一貫性のあるクラスのセットを返すことができることを示す。
• 参考スコア（独自算出の注目度）: 8.189630642296416
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Average-K classification is an alternative to top-K classification in which the number of labels returned varies with the ambiguity of the input image but must average to K over all the samples. A simple method to solve this task is to threshold the softmax output of a model trained with the cross-entropy loss. This approach is theoretically proven to be asymptotically consistent, but it is not guaranteed to be optimal for a finite set of samples. In this paper, we propose a new loss function based on a multi-label classification head in addition to the classical softmax. This second head is trained using pseudo-labels generated by thresholding the softmax head while guaranteeing that K classes are returned on average. We show that this approach allows the model to better capture ambiguities between classes and, as a result, to return more consistent sets of possible classes. Experiments on two datasets from the literature demonstrate that our approach outperforms the softmax baseline, as well as several other loss functions more generally designed for weakly supervised multi-label classification. The gains are larger the higher the uncertainty, especially for classes with few samples.
• Abstract（参考訳）: 平均K分類は、入力画像のあいまいさによって返されるラベルの数が変わるトップK分類に代わるものであるが、全てのサンプルに対して平均Kにしなければならない。 この問題を解決する簡単な方法は、クロスエントロピー損失で訓練されたモデルのソフトマックス出力をしきい値にすることである。 このアプローチは理論的に漸近的に一貫性があることが証明されているが、有限個のサンプル集合に対して最適であることは保証されていない。 本稿では,従来のソフトマックスに加えて,マルチラベル分類ヘッドに基づく新たな損失関数を提案する。 この第2のヘッドは、平均でkクラスを返すことを保証しつつ、softmaxヘッドのしきい値化によって生成された擬似ラベルを用いてトレーニングされる。 このアプローチによって、モデルがクラス間のあいまいさをよりよく捉え、結果として、より一貫性のあるクラスのセットを返すことができることを示す。 文献から得られた2つのデータセットに対する実験により、我々のアプローチはソフトマックスベースラインよりも優れており、さらに弱教師付きマルチラベル分類のためにより一般的に設計されたいくつかの損失関数も示している。 特にサンプルが少ないクラスでは、不確実性が高いほど利得は大きくなる。

関連論文リスト

• Dirichlet-Based Prediction Calibration for Learning with Noisy Labels [40.78497779769083]
  雑音ラベルによる学習はディープニューラルネットワーク(DNN)の一般化性能を著しく損なう 既存のアプローチでは、損失補正やサンプル選択手法によってこの問題に対処している。 そこで我々は,textitDirichlet-based Prediction (DPC) 法を解法として提案する。
  論文  参考訳（メタデータ） (2024-01-13T12:33:04Z)
• Generating Unbiased Pseudo-labels via a Theoretically Guaranteed Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
  分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。 本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。 チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:39:35Z)
• Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
  そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。 それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。 次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
  論文  参考訳（メタデータ） (2023-08-13T14:05:24Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Maximally Compact and Separated Features with Regular Polytope Networks [22.376196701232388]
  本稿では, CNN から抽出する方法として, クラス間分離性とクラス間圧縮性の特性について述べる。 我々は、よく知られた citewen2016discriminative や他の類似したアプローチで得られる特徴と類似した特徴を得る。
  論文  参考訳（メタデータ） (2023-01-15T15:20:57Z)
• Distinction Maximization Loss: Efficiently Improving Classification Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply Replacing the Loss and Calibrating [2.262407399039118]
  我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。 DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
  論文  参考訳（メタデータ） (2022-05-12T04:37:35Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Minimax Active Learning [61.729667575374606]
  アクティブラーニングは、人間のアノテーションによってラベル付けされる最も代表的なサンプルをクエリすることによって、ラベル効率の高いアルゴリズムを開発することを目指している。 現在のアクティブラーニング技術は、最も不確実なサンプルを選択するためにモデルの不確実性に頼るか、クラスタリングを使うか、最も多様なラベルのないサンプルを選択するために再構築する。 我々は,不確実性と多様性を両立させる半教師付きミニマックスエントロピーに基づく能動学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-12-18T19:03:40Z)
• Learning Gradient Boosted Multi-label Classification Rules [4.842945656927122]
  本稿では,分解不能な損失関数だけでなく,分解不能な損失関数を最小化できる多ラベル分類規則の学習アルゴリズムを提案する。 我々は,合成データに対するアプローチの能力と限界を分析し,その予測性能をマルチラベルベンチマークで評価する。
  論文  参考訳（メタデータ） (2020-06-23T21:39:23Z)
• Few-Shot Open-Set Recognition using Meta-Learning [72.15940446408824]
  オープンセット認識の問題点を考察する。 新しいoPen sEt mEta LEaRning (PEELER)アルゴリズムが導入された。
  論文  参考訳（メタデータ） (2020-05-27T23:49:26Z)
• Being Bayesian about Categorical Probability [6.875312133832079]
  クラスラベルに対する分類的確率の確率変数を考える。 この枠組みでは、先行分布は観測されたラベルに固有の推定ノイズを明示的にモデル化する。 本手法は,計算オーバーヘッドが無視できるプラグアンドプレイ損失関数として実装することができる。
  論文  参考訳（メタデータ） (2020-02-19T02:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。