論文の概要: Minimax Generalized Cross-Entropy

• arxiv url: http://arxiv.org/abs/2603.19874v2
• Date: Wed, 25 Mar 2026 10:20:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 14:25:25.881779
• Title: Minimax Generalized Cross-Entropy
• Title（参考訳）: ミニマックス一般化クロスエントロピー
• Authors: Kartheek Bondugula, Santiago Mazuelas, Aritz Pérez, Anqi Liu,
• Abstract要約: クロスエントロピー(CE)は広く使われているが、平均絶対誤差(MAE)損失は堅牢性をもたらす。 CEとMAEの損失の補間、一般化されたクロスエントロピー(GCE)は、難易度と堅牢性の間のトレードオフを提供するために導入された。
• 参考スコア（独自算出の注目度）: 22.933689185378395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Loss functions play a central role in supervised classification. Cross-entropy (CE) is widely used, whereas the mean absolute error (MAE) loss can offer robustness but is difficult to optimize. Interpolating between the CE and MAE losses, generalized cross-entropy (GCE) has recently been introduced to provide a trade-off between optimization difficulty and robustness. Existing formulations of GCE result in a non-convex optimization over classification margins that is prone to underfitting, leading to poor performances with complex datasets. In this paper, we propose a minimax formulation of generalized cross-entropy (MGCE) that results in a convex optimization over classification margins. Moreover, we show that MGCEs can provide an upper bound on the classification error. The proposed bilevel convex optimization can be efficiently implemented using stochastic gradient computed via implicit differentiation. Using benchmark datasets, we show that MGCE achieves strong accuracy, faster convergence, and better calibration, especially in the presence of label noise.
• Abstract（参考訳）: 損失関数は教師付き分類において中心的な役割を果たす。 クロスエントロピー(CE)は広く使われているが、平均絶対誤差(MAE)損失は堅牢性を提供するが、最適化が難しい。 CEの損失とMAEの損失を補間する汎用クロスエントロピー(GCE)が最近導入され、最適化の難しさと堅牢性の間のトレードオフを提供している。 既存のGCEの定式化により、分類マージンよりも非凸最適化が行われ、不適合になりやすいため、複雑なデータセットでは性能が低下する。 本稿では,一般化されたクロスエントロピー(MGCE)のミニマックス定式化を提案する。 さらに,MGCEは分類誤差に上限を与えることができることを示す。 提案した二値凸最適化は、暗黙の微分によって計算された確率勾配を用いて効率よく実装できる。 ベンチマークデータセットを用いて、MGCEは、特にラベルノイズの存在下で、高い精度、より高速な収束、キャリブレーションを達成できることを示す。

関連論文リスト

• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
  トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。 提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-03T11:09:13Z)
• Support Vector Machines with the Hard-Margin Loss: Optimal Training via Combinatorial Benders' Cuts [8.281391209717105]
  我々は、グローバルな最適性のために、ハードマージンのSVMモデルをトレーニングする方法を示す。 本稿では,この問題を解くための反復サンプリングと部分分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-15T18:21:51Z)
• EXACT: How to Train Your Accuracy [6.144680854063938]
  本稿では,モデル出力にアセンシティを導入し,予測精度を最適化することで,新しい最適化フレームワークを提案する。 線形モデルと深層画像分類の実験により,提案手法は広く用いられている分類損失の強力な代替手段であることが示された。
  論文  参考訳（メタデータ） (2022-05-19T15:13:00Z)
• GSC Loss: A Gaussian Score Calibrating Loss for Deep Learning [16.260520216972854]
  ディープニューラルネットワーク(DNN)が生み出す予測スコアを校正するために,一般ガウススコア校正(GSC)損失を提案する。 10以上のベンチマークデータセットに対する大規模な実験は、提案されたGSC損失が、さまざまな視覚的タスクにおいて一貫した、重要なパフォーマンス向上をもたらすことを実証している。
  論文  参考訳（メタデータ） (2022-03-02T02:52:23Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。