論文の概要: A Unified DRO View of Multi-class Loss Functions with top-N Consistency

• arxiv url: http://arxiv.org/abs/2112.14869v1
• Date: Thu, 30 Dec 2021 00:27:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-03 15:06:39.781773
• Title: A Unified DRO View of Multi-class Loss Functions with top-N Consistency
• Title（参考訳）: トップN一貫性を持つ多クラス損失関数の統一DROビュー
• Authors: Dixian Zhu and Tianbao Yang
• Abstract要約: CS/CE損失の統一的なビューと、そのスムーズなトップ$k$変動を、新しい損失関数の族を提案することによって提示する。 分散ロバスト最適化フレームワークを活用することにより,ラベル分散ロバスト(LDR)損失というスムーズな損失関数の族を定義する。
• 参考スコア（独自算出の注目度）: 61.13060097122664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-class classification is one of the most common tasks in machine learning applications, where data is labeled by one of many class labels. Many loss functions have been proposed for multi-class classification including two well-known ones, namely the cross-entropy (CE) loss and the crammer-singer (CS) loss (aka. the SVM loss). While CS loss has been used widely for traditional machine learning tasks, CE loss is usually a default choice for multi-class deep learning tasks. There are also top-$k$ variants of CS loss and CE loss that are proposed to promote the learning of a classifier for achieving better top-$k$ accuracy. Nevertheless, it still remains unclear the relationship between these different losses, which hinders our understanding of their expectations in different scenarios. In this paper, we present a unified view of the CS/CE losses and their smoothed top-$k$ variants by proposing a new family of loss functions, which are arguably better than the CS/CE losses when the given label information is incomplete and noisy. The new family of smooth loss functions named {label-distributionally robust (LDR) loss} is defined by leveraging the distributionally robust optimization (DRO) framework to model the uncertainty in the given label information, where the uncertainty over true class labels is captured by using distributional weights for each label regularized by a function.
• Abstract（参考訳）: マルチクラス分類は、多くのクラスラベルの1つによってデータがラベル付けされる機械学習アプリケーションで最も一般的なタスクの1つである。 マルチクラス分類には、クロスエントロピー(CE)損失とクラマーシンガー(CS)損失(SVM損失)の2つを含む多くの損失関数が提案されている。 CS損失は従来の機械学習タスクに広く使用されているが、CE損失は通常、マルチクラスディープラーニングタスクのデフォルト選択である。 CS損失とCE損失の上位$の変種も存在し、より優れた上位$の精度を達成するための分類器の学習を促進するために提案されている。 それにもかかわらず、これらの異なる損失の関係は依然として不明であり、異なるシナリオにおける我々の期待を理解するのを妨げている。 本稿では,CS/CEの損失と,そのスムーズなトップ$kの変動について,与えられたラベル情報が不完全でノイズの多い場合に,CS/CEの損失よりも確実に優れた新しい損失関数群を提案する。 label-distributionally robust (ldr) loss} と呼ばれる新しい滑らかな損失関数の族は、関数によって正規化された各ラベルの分布重みを用いて真のクラスラベル上の不確かさをキャプチャする与えられたラベル情報の不確かさをモデル化するために、distributally robust optimization (dro)フレームワークを活用することで定義される。

関連論文リスト

• Energy Score-based Pseudo-Label Filtering and Adaptive Loss for Imbalanced Semi-supervised SAR target recognition [1.2035771704626825]
  既存の半教師付きSAR ATRアルゴリズムは、クラス不均衡の場合、認識精度が低い。 この研究は、動的エネルギースコアと適応損失を用いた非平衡半教師付きSAR目標認識手法を提供する。
  論文  参考訳（メタデータ） (2024-11-06T14:45:16Z)
• An extended asymmetric sigmoid with Perceptron (SIGTRON) for imbalanced linear classification [0.0]
  本稿では、SIGTRONと呼ばれる新しいパラメータ化シグモノイドと、SIGTRON不均衡分類(SIC)モデルと呼ばれる同伴凸モデルを提案する。 従来の$pi$重み付きコスト依存学習モデルとは対照的に、SICモデルは損失関数に外部の$pi$重みを持たない。 提案したSICモデルは,データセットのバリエーションに適応可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-26T13:14:17Z)
• Generating Unbiased Pseudo-labels via a Theoretically Guaranteed Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
  分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。 本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。 チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:39:35Z)
• Uncertainty-Aware Source-Free Adaptive Image Super-Resolution with Wavelet Augmentation Transformer [60.31021888394358]
  Unsupervised Domain Adaptation (UDA)は、現実世界の超解像(SR)における領域ギャップ問題に効果的に対処できる 本稿では,画像SR(SODA-SR)のためのSOurce-free Domain Adaptationフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-31T03:14:44Z)
• The KFIoU Loss for Rotated Object Detection [115.334070064346]
  本稿では,SkewIoU損失とトレンドレベルアライメントを両立できる近似的損失を考案する上で,有効な方法の1つとして論じる。 具体的には、対象をガウス分布としてモデル化し、SkewIoUのメカニズムを本質的に模倣するためにカルマンフィルタを採用する。 KFIoUと呼ばれる新たな損失は実装が容易で、正確なSkewIoUよりもうまく動作する。
  論文  参考訳（メタデータ） (2022-01-29T10:54:57Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Robust Classification via Support Vector Machines [1.7520660701924717]
  データ不確実性下での2つの堅牢な分類器を提案する。 1つ目はSP-SVM(Single Perturbation SVM)と呼ばれ、データの1つの特徴に対して制御された摂動を許容することで構成的な方法を提供する。 第2の方法は Extreme Empirical Loss SVM (EEL-SVM) と呼ばれ、新しい経験的損失推定、すなわち Extreme Empirical Loss (EEL) に基づいている。
  論文  参考訳（メタデータ） (2021-04-27T20:20:12Z)
• Label-Imbalanced and Group-Sensitive Classification under Overparameterization [32.923780772605596]
  ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。 標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。 本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
  論文  参考訳（メタデータ） (2021-03-02T08:09:43Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。