論文の概要: Online AUC Optimization Based on Second-order Surrogate Loss

• arxiv url: http://arxiv.org/abs/2510.21202v1
• Date: Fri, 24 Oct 2025 07:08:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 06:57:23.388945
• Title: Online AUC Optimization Based on Second-order Surrogate Loss
• Title（参考訳）: 2次サロゲート損失に基づくオンラインAUC最適化
• Authors: JunRu Luo, Difei Cheng, Bo Zhang,
• Abstract要約: 曲線の下の領域は、分類タスクの重要なパフォーマンス指標である。 両方向のヒンジ損失に基づく新しい第2次サロゲート損失と,効率的なオンラインストレージを開発する。 本手法では, 1次および2次統計量から構築した損失関数を用いて, 集約された対損失を直接置換する新しいパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 3.9269332672496424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Area Under the Curve (AUC) is an important performance metric for classification tasks, particularly in class-imbalanced scenarios. However, minimizing the AUC presents significant challenges due to the non-convex and discontinuous nature of pairwise 0/1 losses, which are difficult to optimize, as well as the substantial memory cost of instance-wise storage, which creates bottlenecks in large-scale applications. To overcome these challenges, we propose a novel second-order surrogate loss based on the pairwise hinge loss, and develop an efficient online algorithm. Unlike conventional approaches that approximate each individual pairwise 0/1 loss term with an instance-wise surrogate function, our approach introduces a new paradigm that directly substitutes the entire aggregated pairwise loss with a surrogate loss function constructed from the first- and second-order statistics of the training data. Theoretically, while existing online AUC optimization algorithms typically achieve an $\mathcal{O}(\sqrt{T})$ regret bound, our method attains a tighter $\mathcal{O}(\ln T)$ bound. Furthermore, we extend the proposed framework to nonlinear settings through a kernel-based formulation. Extensive experiments on multiple benchmark datasets demonstrate the superior efficiency and effectiveness of the proposed second-order surrogate loss in optimizing online AUC performance.
• Abstract（参考訳）: エリア・アンダー・ザ・カーブ(AUC)は、特にクラス不均衡のシナリオにおいて、分類タスクの重要なパフォーマンス指標である。 しかし、AUCの最小化は、ペアワイズ0/1の損失の非凸性と不連続性による大きな課題であり、最適化が困難であり、大規模アプリケーションではボトルネックとなるインスタンスワイズストレージのメモリコストが大幅に低下する。 これらの課題を克服するため、両方向のヒンジ損失に基づく新しい2次サロゲート損失を提案し、効率的なオンラインアルゴリズムを開発した。 本手法では,各対の損失項をインスタンスワイド・サロゲート関数に近似する従来の手法とは異なり,トレーニングデータの1次・2次統計から構築したサロゲート・ロス関数を用いて,集約された各対の損失項を直接置換する新たなパラダイムを導入する。 理論的には、既存のオンラインAUC最適化アルゴリズムは通常、$\mathcal{O}(\sqrt{T})$ regret boundを達成するが、我々の方法はより厳密な$\mathcal{O}(\ln T)$ boundを達成する。 さらに、カーネルベースの定式化により、提案したフレームワークを非線形設定に拡張する。 複数のベンチマークデータセットに対する大規模な実験は、オンラインAUCのパフォーマンスを最適化する上で、提案した2階のサロゲート損失の優れた効率と有効性を示す。

関連論文リスト

• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• Stochastic Primal-Dual Double Block-Coordinate for Two-way Partial AUC Maximization [45.99743804547533]
  2方向部分AUCAUCは、不均衡なデータを持つバイナリ分類における重要な性能指標である。 TPAUC最適化のための既存のアルゴリズムは未探索のままである。 TPAUC最適化のための2つの革新的な二重座標ブロック座標アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-05-28T03:55:05Z)
• Efficient Methods for Non-stationary Online Learning [63.268670895111654]
  動的後悔と適応的後悔を最適化する効率的な方法を提案する。 提案アルゴリズムでは,各ラウンドで1つの勾配クエリと1つの関数評価しか必要としない。 また、さらに強力な測度、すなわち「内部的動的後悔」を研究し、ラウンド当たりの射影数を$O(log2 T)$から$$$$に減らした。
  論文  参考訳（メタデータ） (2023-09-16T07:30:12Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)
• Stochastic Hard Thresholding Algorithms for AUC Maximization [49.00683387735522]
  分散分類におけるAUCのためのハードしきい値決定アルゴリズムを開発した。 提案アルゴリズムの有効性と有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2020-11-04T16:49:29Z)
• BAMSProd: A Step towards Generalizing the Adaptive Optimization Methods to Deep Binary Model [34.093978443640616]
  最近のBNN(Binary Neural Networks)の性能は大幅に低下している。 BNNの効果的かつ効率的なトレーニングを保証することは未解決の問題である。 そこで本研究では,BAMSProdアルゴリズムを用いて,深部二元モデルの収束特性が量子化誤差と強く関連していることを示す。
  論文  参考訳（メタデータ） (2020-09-29T06:12:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。