論文の概要: Linear-Core Surrogates: Smooth Loss Functions with Linear Rates for Classification and Structured Prediction

• arxiv url: http://arxiv.org/abs/2604.27742v1
• Date: Thu, 30 Apr 2026 11:32:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:54.067907
• Title: Linear-Core Surrogates: Smooth Loss Functions with Linear Rates for Classification and Structured Prediction
• Title（参考訳）: リニアコアサロゲート:分類と構造予測のためのリニアレートを有する平滑損失関数
• Authors: Mehryar Mohri, Yutao Zhong,
• Abstract要約: 線形コアを滑らかな尾に縫合することで,この緊張を解消する新しい凸損失関数群を提案する。 これらのサロゲートは、厳密な線型$H$一貫性境界を維持しながら、どこでも微分可能であることを証明している。
• 参考スコア（独自算出の注目度）: 42.67092904252001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The choice of loss function in classification involves a fundamental trade-off: smooth losses (like Cross-Entropy) enable fast optimization rates but yield slow square-root consistency bounds, while piecewise-linear losses (like Hinge) offer fast linear consistency rates but suffer from non-differentiability. We propose Linear-Core (LC) Surrogates, a new family of convex loss functions that resolve this tension by stitching a linear core to a smooth tail. We prove that these surrogates are differentiable everywhere while retaining strict linear $H$-consistency bounds, effectively combining the optimization benefits of smoothness with the statistical efficiency of margin-based losses. In the structured prediction setting, we show that this smoothness unlocks a massive computational and energy advantage: it allows for an unbiased stochastic gradient estimator that bypasses the quadratic complexity $O(|\mathscr{Y}|^2)$ of exact inference (e.g., Viterbi). Empirically, our method achieves a 23$\times$ speedup over Structured SVMs on large-vocabulary sequence tagging tasks and demonstrates superior robustness to instance-dependent label noise, outperforming Cross-Entropy by 2.6% on corrupted CIFAR-10.
• Abstract（参考訳）: 滑らかな損失(クロスエントロピーのような)は高速な最適化速度を実現するが、緩やかな平方根の整合性境界が得られ、一方、断片的な線形損失(ヒンジのような)は高速な線形整合率を提供するが、非微分性に悩まされる。 線形コアを滑らかな尾に縫合することで,この張力を解消する凸損失関数の新たなファミリーであるリニアコアサロゲートを提案する。 これらのサロゲートは、厳密な線形$H$一貫性境界を維持しつつ、至るところで微分可能であることを証明し、滑らかさの最適化利点とマージンに基づく損失の統計的効率を効果的に組み合わせた。 構造的予測設定では、この滑らかさは計算とエネルギーの優位性を解き、これは2次複雑性$O(|\mathscr{Y}|^2)$の正確な推論(例えば、ビタビ)をバイパスする不偏確率勾配推定器(unbiased stochastic gradient estimator)を可能にする。 提案手法は,大語彙列タギングタスクにおける構造化SVMよりも23$\times$の高速化を実現し,CIFAR-10のクロスエントロピーを2.6%向上させた。

関連論文リスト

• Adaptive Threshold-Driven Continuous Greedy Method for Scalable Submodular Optimization [0.0]
  マットロイド制約の下でのサブモジュールは、センシング、データマージ、アクティブラーニング、リソース割り当てなどの応用において、最適化の基本的な問題である。 textitATCG(underlineAdaptive underlineThresholded underlineThresholded underlineThresholded underlineGreedy)を提案する。 CIFAR-10動物データセットを用いたクラスバランス型プロトタイプ選択問題の実験
  論文  参考訳（メタデータ） (2026-04-03T19:32:39Z)
• Introducing Fractional Classification Loss for Robust Learning with Noisy Labels [2.312414367096445]
  適応的ロバスト損失であるフラクタル分類損失 (FCL) を導入し, トレーニング中, ラベルノイズに対するロバストさを自動的に校正する。 FCLは手動のハイパーパラメータチューニングを必要とせずに最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-08-08T14:20:52Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• CoLiDE: Concomitant Linear DAG Estimation [12.415463205960156]
  観測データから線形方程式への非巡回グラフ構造学習の問題に対処する。 本稿では,空間認識学習DAGのための新しい凸スコア関数を提案する。
  論文  参考訳（メタデータ） (2023-10-04T15:32:27Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Adaptivity and Non-stationarity: Problem-dependent Dynamic Regret for Online Convex Optimization [70.4342220499858]
  本稿では,スムーズさを生かし,問題依存量による動的後悔のT$への依存を補う新しいオンラインアルゴリズムを提案する。 この結果が本質的な難易度に適応しているのは, 既往の結果よりも厳密であり, 最悪の場合, 同一レートの保護が可能であるからである。
  論文  参考訳（メタデータ） (2021-12-29T02:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。