論文の概要: Pairwise AUC Optimization Needs Corrective Power: A Unified View

• arxiv url: http://arxiv.org/abs/2610.21743v1
• Date: Thu, 15 Oct 2026 12:02:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.059069
• Title: Pairwise AUC Optimization Needs Corrective Power: A Unified View
• Title（参考訳）: ペアワイズAUC最適化には補正力が必要だ:統一された視点
• Abstract要約: ペアワイドのミニバッチ更新が、より厳格なランキングエラーに対して、より強く信頼性の高い改善をもたらすかどうかを検討する。 我々の主な観察では、直接的なペアワイズトレーニングは、深刻なエラーが相変わらずありふれた領域に入ることができるが、もはや有用な修正動作は生じない。
• 参考スコア（独自算出の注目度）: 91.5488253165522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Direct pairwise AUC-surrogate training is attractive because it trains toward the ranking metric used at test time, especially under class imbalance. This creates a direct alignment between the training objective and the evaluation metric, but such metric alignment alone does not guarantee that stochastic training remains corrective. We study this gap through Corrective Power: whether pairwise mini-batch updates produce stronger and more reliable improvements for more severe positive-negative ranking errors. Our main observation is that direct pairwise training can enter regions where severe errors remain common but no longer produce useful corrective motion. In such regions, even the mini-batch noise that would normally help SGD move along the steepest severe-error correction direction can become much weaker. In this paper, we seek a theoretical explanation for this by exploring the degenerate property of the U-statistics formed from the pairwise gradients therein. Our results provide a mechanistic explanation for several empirical patterns: (a) squared-hinge loss is often an effective AUC surrogate; (b) cross-entropy warm-up can help models that enter the AUC phase from a poor starting region; and (c) parameter-efficient fine-tuning from a pretrained model can reduce that need by starting closer to a favorable ranking geometry. Experiments on 8 CV tasks and 8 NLP tasks, using ResNet50, DenseNet121, DistilBERT-base, and Qwen2.5-1.5B-Instruct, support these predictions.
• Abstract（参考訳）: 直接ペアワイドAUCサロゲートトレーニングは、特にクラス不均衡の下でテスト時に使用されるランキング基準に向かって訓練するため、魅力的である。 これにより、トレーニング目標と評価基準の間に直接的なアライメントが生じるが、そのような指標アライメントだけでは、確率的トレーニングが補正されたままであることを保証しない。 ペアのミニバッチ更新が、より厳しい正負のランキングエラーに対して、より強く、より信頼性の高い改善をもたらすかどうかを補正パワーで調べる。 我々の主な観察では、直接的なペアワイズトレーニングは、深刻なエラーが相変わらずありふれた領域に入ることができるが、もはや有用な修正動作は生じない。 このような領域では、SGDが最も急な過酷なエラー補正方向に沿って移動するのに役立つミニバッチノイズでさえ、より弱いものとなる。 そこで本論文では, 対勾配から形成されるU-統計量の退化特性を探索し, 理論的説明を求める。 我々の結果は、いくつかの経験的パターンの機械的説明を提供する。 (a)2乗ヒンジ損失は、しばしば有効なAUCサロゲートである。 b)クロスエントロピーウォームアップは、貧弱な開始領域からAUCフェーズに入るモデルに役立つ。 (c) 事前訓練されたモデルからのパラメータ効率の良い微調整は、好適なランキング幾何に近づき始めることで、そのニーズを減らすことができる。 ResNet50、DenseNet121、DistilBERT-base、Qwen2.5-1.5B-Instructを使った8つのCVタスクと8つのNLPタスクの実験は、これらの予測をサポートする。

関連論文リスト

• Robust Activation Map Rectification for Weakly Supervised Volumetric Segmentation: Temporal Coherence as a Free Lunch [31.156115062163412]
  弱教師付きセグメンテーションは、最初にターゲット領域をローカライズするためにクラスアクティベーションマップ(CAM)に大きく依存している。 既存の治療法は、通常、追加のトレーニングステージやプロトタイプ学習を導入し、計算コストを増大させ、堅牢性を低下させる。 本研究では, 容積データの時間的・構造的コヒーレンスをフリーランチとして利用することにより, 信頼できないCAMを修正できる, トレーニング不要なプロトタイプフリーフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-22T08:07:38Z)
• Adaptive Negative Reinforcement for LLM Reasoning:Dynamically Balancing Correction and Diversity in RLVR [6.291433683451589]
  検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力向上に有効な方法となっている。 最近の研究では、NSR(Negative Sample Reinforcement)がPPOやGRPOのようなより複雑なフレームワークのパフォーマンスに適合または超えることが示されている。 我々は,NSRフレームワークの拡張として,適応型負のサンプル強化と信頼度重み付き負の強化の2つを提案する。
  論文  参考訳（メタデータ） (2026-05-08T02:13:33Z)
• Does "Do Differentiable Simulators Give Better Policy Gradients?'' Give Better Policy Gradients? [25.53040167917892]
  不連続力学はバイアスを引き起こし、1階推定器の有効性を損なう。 非滑らかな領域で推定器を切り替える軽量なテストであるDDCGを導入する。 また,各ステップ毎の逆分散実装であるIVW-Hについて,明示的な不連続検出を伴わずに分散を安定化する。
  論文  参考訳（メタデータ） (2026-04-20T12:23:48Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Efficient local linearity regularization to overcome catastrophic overfitting [59.463867084204566]
  単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。 我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
  論文  参考訳（メタデータ） (2024-01-21T22:55:26Z)
• Counterbalancing Teacher: Regularizing Batch Normalized Models for Robustness [15.395021925719817]
  バッチ正規化(BN)は、より精度の高い収束を加速するディープニューラルネットワークのトレーニング技術である。 BNは、トレーニング(ドメイン内)データに非常に依存する低分散機能に依存してモデルにインセンティブを与えることを示す。 本稿では,学生ネットワークの頑健な表現の学習を強制するために,反バランス教師(CT)を提案する。
  論文  参考訳（メタデータ） (2022-07-04T16:16:24Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。