論文の概要: Fundamental Novel Consistency Theory: $H$-Consistency Bounds

• arxiv url: http://arxiv.org/abs/2512.22880v1
• Date: Sun, 28 Dec 2025 11:02:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.266778
• Title: Fundamental Novel Consistency Theory: $H$-Consistency Bounds
• Title（参考訳）: 基本的新奇一貫性理論:$H$-一貫性境界
• Authors: Yutao Zhong,
• Abstract要約: 機械学習では、トレーニング中に最適化された損失関数は、タスクのパフォーマンスを定義するターゲット損失とは異なることが多い。 本稿では,サロゲート損失推定誤差に対する目標損失推定誤差について詳細に検討する。 私たちの分析では、$H$-一貫性境界が導かれ、これは仮説セットの$H$に対する説明が保証される。
• 参考スコア（独自算出の注目度）: 19.493449206135296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In machine learning, the loss functions optimized during training often differ from the target loss that defines task performance due to computational intractability or lack of differentiability. We present an in-depth study of the target loss estimation error relative to the surrogate loss estimation error. Our analysis leads to $H$-consistency bounds, which are guarantees accounting for the hypothesis set $H$. These bounds offer stronger guarantees than Bayes-consistency or $H$-calibration and are more informative than excess error bounds. We begin with binary classification, establishing tight distribution-dependent and -independent bounds. We provide explicit bounds for convex surrogates (including linear models and neural networks) and analyze the adversarial setting for surrogates like $ρ$-margin and sigmoid loss. Extending to multi-class classification, we present the first $H$-consistency bounds for max, sum, and constrained losses, covering both non-adversarial and adversarial scenarios. We demonstrate that in some cases, non-trivial $H$-consistency bounds are unattainable. We also investigate comp-sum losses (e.g., cross-entropy, MAE), deriving their first $H$-consistency bounds and introducing smooth adversarial variants that yield robust learning algorithms. We develop a comprehensive framework for deriving these bounds across various surrogates, introducing new characterizations for constrained and comp-sum losses. Finally, we examine the growth rates of $H$-consistency bounds, establishing a universal square-root growth rate for smooth surrogates in binary and multi-class tasks, and analyze minimizability gaps to guide surrogate selection.
• Abstract（参考訳）: 機械学習では、トレーニング中に最適化された損失関数は、計算の難易度や微分可能性の欠如によるタスクパフォーマンスを定義するターゲット損失としばしば異なる。 本稿では,サロゲート損失推定誤差に対する目標損失推定誤差について詳細に検討する。 私たちの分析では、$H$-一貫性境界が導かれ、これは仮説セットの$H$に対する説明が保証される。 これらの境界はベイズ整合性や$H$校正よりも強い保証を提供し、過度な誤差境界よりも情報的である。 まず二項分類から始め、厳密な分布依存境界と非依存境界を確立する。 我々は凸代理(線形モデルやニューラルネットワークを含む)に対して明示的な境界を提供し、$ρ$-margin や sigmoid loss のような代理に対する逆条件を解析する。 マルチクラス分類に拡張して、最大、和、制約付き損失に対する最初の$H$-consistency boundsを提示し、非対角的シナリオと対角的シナリオの両方をカバーする。 場合によっては、非自明な$H$-一貫性境界は達成不可能であることを示す。 また、和算損失(例えば、クロスエントロピー、MAE)についても検討し、最初の$H$一貫性境界を導出し、頑健な学習アルゴリズムを生成するスムーズな対角変形を導入した。 種々のサロゲートにまたがる境界を導出するための包括的枠組みを開発し,制約付きおよび補間損失に対する新たな特徴付けを導入する。 最後に,2次および複数クラスタスクにおけるスムーズなサロゲートに対する普遍的な2乗根成長速度を確立するとともに,サロゲート選択を導くために最小化可能性ギャップを解析する。

関連論文リスト

• Non-Stationary Online Structured Prediction with Surrogate Losses [22.848052937383244]
  累積目標損失に対して$F_T + C (1 + P_T)$という形の有界性を証明する。 我々の中核となる考え方は、勾配オンライン降下(OGD)の動的後悔境界を代理ギャップを利用する手法で合成することである。 我々はまた、OGDのための新しいPolyakスタイルの学習率にも光を当てています。
  論文  参考訳（メタデータ） (2025-10-08T14:43:44Z)
• Mastering Multiple-Expert Routing: Realizable $H$-Consistency and Strong Guarantees for Learning to Defer [30.389055604165222]
  本稿では,理論学習の保証が強い新しい代理損失関数と効率的なアルゴリズムを提案する。 実現可能な$H$一貫性、$H$一貫性境界、単段階および二段階の学習シナリオにおけるベイズ一貫性に関するオープンな疑問に対処する。 実効化可能な$H$整合性,$H$整合性境界,および2つの経験的シナリオに対するベイズ整合性,そして自然仮定の下では多重経験的シナリオを実現するための新たな代理的損失を導出する。
  論文  参考訳（メタデータ） (2025-06-25T17:48:58Z)
• Of Dice and Games: A Theory of Generalized Boosting [61.752303337418475]
  我々は、コスト感受性と多目的損失の両方を組み込むために、ブースティングの有名な理論を拡張した。 我々は、コスト感受性と多目的強化の包括的理論を開発し、弱い学習保証の分類を提供する。 我々の特徴付けは、昇降の幾何学的解釈に依存しており、コスト感受性と多目的損失の間の驚くべき等価性を明らかにしている。
  論文  参考訳（メタデータ） (2024-12-11T01:38:32Z)
• Realizable $H$-Consistent and Bayes-Consistent Loss Functions for Learning to Defer [30.389055604165222]
  非増加関数の$Psi$によってパラメータ化され、穏やかな条件下で実現可能な$H$一貫性を確立する。 分類誤差に基づくコスト関数の場合、これらの損失は仮説集合が対称かつ完全であるときに$H$一貫性境界を持つことを示す。
  論文  参考訳（メタデータ） (2024-07-18T17:35:03Z)
• A Universal Growth Rate for Learning with Smooth Surrogate Losses [30.389055604165222]
  2進分類におけるスムーズなマージンベースサロゲート損失に対して,0付近の平方根成長速度を証明した。 我々は、この分析を、一連の新しい結果でマルチクラス分類に拡張する。
  論文  参考訳（メタデータ） (2024-05-09T17:59:55Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)
• Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning [99.34907092347733]
  本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。 局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。 他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
  論文  参考訳（メタデータ） (2021-06-28T00:38:54Z)
• Provable tradeoffs in adversarially robust classification [96.48180210364893]
  我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。 この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2020-06-09T09:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。