論文の概要: Improved Balanced Classification with Theoretically Grounded Loss Functions

• arxiv url: http://arxiv.org/abs/2512.23947v1
• Date: Tue, 30 Dec 2025 02:34:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.25968
• Title: Improved Balanced Classification with Theoretically Grounded Loss Functions
• Title（参考訳）: 理論的に接地された損失関数を用いたバランス付き分類の改良
• Authors: Corinna Cortes, Mehryar Mohri, Yutao Zhong,
• Abstract要約: The generalized Logit-Adjusted (GLA) loss function and Generalized Class-Aware weighted (GCA) loss。 GLAの損失はベイズ整合であるが、完備な(つまり有界でない)仮説集合に対してのみ$H$整合であることを示す。 GCAの損失は、有界または完備な任意の仮説集合に対して$H$-一貫性を持ち、$H$-一貫性境界は1/sqrtmathsf p_min$より好意的にスケールする。
• 参考スコア（独自算出の注目度）: 41.69461814486466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The balanced loss is a widely adopted objective for multi-class classification under class imbalance. By assigning equal importance to all classes, regardless of their frequency, it promotes fairness and ensures that minority classes are not overlooked. However, directly minimizing the balanced classification loss is typically intractable, which makes the design of effective surrogate losses a central question. This paper introduces and studies two advanced surrogate loss families: Generalized Logit-Adjusted (GLA) loss functions and Generalized Class-Aware weighted (GCA) losses. GLA losses generalize Logit-Adjusted losses, which shift logits based on class priors, to the broader general cross-entropy loss family. GCA loss functions extend the standard class-weighted losses, which scale losses inversely by class frequency, by incorporating class-dependent confidence margins and extending them to the general cross-entropy family. We present a comprehensive theoretical analysis of consistency for both loss families. We show that GLA losses are Bayes-consistent, but only $H$-consistent for complete (i.e., unbounded) hypothesis sets. Moreover, their $H$-consistency bounds depend inversely on the minimum class probability, scaling at least as $1/\mathsf p_{\min}$. In contrast, GCA losses are $H$-consistent for any hypothesis set that is bounded or complete, with $H$-consistency bounds that scale more favorably as $1/\sqrt{\mathsf p_{\min}}$, offering significantly stronger theoretical guarantees in imbalanced settings. We report the results of experiments demonstrating that, empirically, both the GCA losses with calibrated class-dependent confidence margins and GLA losses can greatly outperform straightforward class-weighted losses as well as the LA losses. GLA generally performs slightly better in common benchmarks, whereas GCA exhibits a slight edge in highly imbalanced settings.
• Abstract（参考訳）: バランスの取れた損失は、クラス不均衡の下での多クラス分類の目的として広く採用されている。 すべてのクラスに等しい重要性を割り当てることによって、その頻度に関係なく、公平性を促進し、少数クラスが見過ごされないようにする。 しかし、バランスの取れた分類損失を直接最小化することは、典型的には難解であり、効果的な代理損失の設計が中心的な問題となっている。 本稿では,GLA(Generalized Logit-Adjusted)損失関数とGCA(Generalized Class-Aware weighted)損失の2つの高度な代理損失ファミリーを紹介し,検討する。 GLA損失は、ログ調整損失を一般化し、クラス前の値に基づいてロジットを、より広範なクロスエントロピー損失ファミリーにシフトさせる。 GCA損失関数は、クラス依存の信頼率を組み込んで一般的なクロスエントロピー族に拡張することで、クラス周波数によって損失を逆スケールする標準クラス重み付き損失を拡大する。 両損失系列の整合性に関する包括的理論的解析を行った。 GLAの損失はベイズ整合であるが、完備な(つまり有界でない)仮説集合に対してのみ$H$整合であることを示す。 さらに、それらの$H$-一貫性境界は最小クラス確率に依存し、少なくとも1/\mathsf p_{\min}$としてスケールする。 対照的に、GCAの損失は有界あるいは完備な仮説集合に対して$H$一貫性を持ち、$H$一貫性境界は1/\sqrt{\mathsf p_{\min}}$と好意的にスケールし、不均衡な設定においてより強力な理論的保証を提供する。 実験の結果, GCAの損失と, 校正されたクラス依存的信頼率, GLAの損失の両方が, クラス重み付けの損失とLAの損失とを著しく上回ることを示した。 GLAは一般的なベンチマークでは若干改善されているが、GCAは高度に不均衡な設定でわずかに改善されている。

関連論文リスト

• Fundamental Novel Consistency Theory: $H$-Consistency Bounds [19.493449206135296]
  機械学習では、トレーニング中に最適化された損失関数は、タスクのパフォーマンスを定義するターゲット損失とは異なることが多い。 本稿では,サロゲート損失推定誤差に対する目標損失推定誤差について詳細に検討する。 私たちの分析では、$H$-一貫性境界が導かれ、これは仮説セットの$H$に対する説明が保証される。
  論文  参考訳（メタデータ） (2025-12-28T11:02:20Z)
• Of Dice and Games: A Theory of Generalized Boosting [61.752303337418475]
  我々は、コスト感受性と多目的損失の両方を組み込むために、ブースティングの有名な理論を拡張した。 我々は、コスト感受性と多目的強化の包括的理論を開発し、弱い学習保証の分類を提供する。 我々の特徴付けは、昇降の幾何学的解釈に依存しており、コスト感受性と多目的損失の間の驚くべき等価性を明らかにしている。
  論文  参考訳（メタデータ） (2024-12-11T01:38:32Z)
• A Universal Growth Rate for Learning with Smooth Surrogate Losses [30.389055604165222]
  2進分類におけるスムーズなマージンベースサロゲート損失に対して,0付近の平方根成長速度を証明した。 我々は、この分析を、一連の新しい結果でマルチクラス分類に拡張する。
  論文  参考訳（メタデータ） (2024-05-09T17:59:55Z)
• Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
  本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。 これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。 これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
  論文  参考訳（メタデータ） (2023-04-14T17:58:23Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)
• Lower-bounded proper losses for weakly supervised classification [73.974163801142]
  本稿では,弱いラベルが与えられた分類の弱い教師付き学習の問題について議論する。 サベージ表現を双対化する教師付き学習における適切な損失を表す表現定理を導出する。 提案手法の有効性を,不適切な損失や非有界損失と比較して実験的に実証した。
  論文  参考訳（メタデータ） (2021-03-04T08:47:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。