論文の概要: Realizable $H$-Consistent and Bayes-Consistent Loss Functions for Learning to Defer

• arxiv url: http://arxiv.org/abs/2407.13732v1
• Date: Thu, 18 Jul 2024 17:35:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 14:21:47.888955
• Title: Realizable $H$-Consistent and Bayes-Consistent Loss Functions for Learning to Defer
• Title（参考訳）: Realizable $H$-Consistent and Bayes-Consistent Loss Function for Learning to Defer
• Authors: Anqi Mao, Mehryar Mohri, Yutao Zhong,
• Abstract要約: 非増加関数の$Psi$によってパラメータ化され、穏やかな条件下で実現可能な$H$一貫性を確立する。 分類誤差に基づくコスト関数の場合、これらの損失は仮説集合が対称かつ完全であるときに$H$一貫性境界を持つことを示す。
• 参考スコア（独自算出の注目度）: 30.389055604165222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a comprehensive study of surrogate loss functions for learning to defer. We introduce a broad family of surrogate losses, parameterized by a non-increasing function $\Psi$, and establish their realizable $H$-consistency under mild conditions. For cost functions based on classification error, we further show that these losses admit $H$-consistency bounds when the hypothesis set is symmetric and complete, a property satisfied by common neural network and linear function hypothesis sets. Our results also resolve an open question raised in previous work (Mozannar et al., 2023) by proving the realizable $H$-consistency and Bayes-consistency of a specific surrogate loss. Furthermore, we identify choices of $\Psi$ that lead to $H$-consistent surrogate losses for any general cost function, thus achieving Bayes-consistency, realizable $H$-consistency, and $H$-consistency bounds simultaneously. We also investigate the relationship between $H$-consistency bounds and realizable $H$-consistency in learning to defer, highlighting key differences from standard classification. Finally, we empirically evaluate our proposed surrogate losses and compare them with existing baselines.
• Abstract（参考訳）: 本稿では,遅延学習のためのサロゲート損失関数の総合的研究について述べる。 非増加関数$\Psi$によってパラメータ化され、穏やかな条件下で実現可能な$H$一貫性を確立する。 分類誤差に基づくコスト関数について、これらの損失は、仮説セットが対称かつ完全であるときに$H$-consistency boundsを許容し、共通のニューラルネットワークと線形関数仮説セットによって満たされる特性を示す。 また,従来の研究 (Mozannar et al , 2023) で提起されたオープンな疑問も解決し, 特定のサロゲート損失の実現可能な$H$一貫性とBayes-Consistencyを証明した。 さらに、一般的なコスト関数に対して$H$-consistent surrogate損失をもたらす$\Psi$の選択を識別し、ベイズ一貫性、実現可能な$H$-consistency、および$H$-consistency境界を同時に達成する。 また、標準分類との大きな違いを浮き彫りにして、$H$-consistency境界と$H$-consistency学習における実現可能な$H$-consistencyの関係についても検討する。 最後に,提案したサロゲート損失を実証的に評価し,既存のベースラインと比較した。

関連論文リスト

• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
  本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。 適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:22:19Z)
• Top-$k$ Classification and Cardinality-Aware Prediction [30.389055604165222]
  和和と制約付き損失は、上位の$k$損失に対する$H$一貫性境界によって支持されることを示す。 本稿では、インスタンス依存型コスト依存学習を通じて、基数認識損失関数を導入する。 これらの損失を最小限に抑えることで、トップ$kの分類のための新しい濃度認識アルゴリズムが生まれる。
  論文  参考訳（メタデータ） (2024-03-28T17:45:03Z)
• $H$-Consistency Guarantees for Regression [30.389055604165222]
  まず、以前に与えられたツールを一般化して$H$-一貫性境界を確立する新しい定理を提案する。 次に、二乗損失の損失関数を代用する新しい$H$整合境界を証明した。 我々はさらに、回帰のために$H$-consistencyを解析し、逆回帰のために原則化された代理損失を導出する。
  論文  参考訳（メタデータ） (2024-03-28T15:08:51Z)
• Online non-parametric likelihood-ratio estimation by Pearson-divergence functional minimization [55.98760097296213]
  iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。 本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
  論文  参考訳（メタデータ） (2023-11-03T13:20:11Z)
• Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
  本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。 これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。 これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
  論文  参考訳（メタデータ） (2023-04-14T17:58:23Z)
• $\mathscr{H}$-Consistency Estimation Error of Surrogate Loss Minimizers [38.56401704010528]
  本稿では,サロゲート損失推定誤差の観点から推定誤差を詳細に検討する。 このような保証を$mathscrH$-consistency estimation error boundsと呼ぶ。
  論文  参考訳（メタデータ） (2022-05-16T23:13:36Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)
• Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning [99.34907092347733]
  本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。 局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。 他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
  論文  参考訳（メタデータ） (2021-06-28T00:38:54Z)
• Rethinking and Reweighting the Univariate Losses for Multi-Label Ranking: Consistency and Generalization [44.73295800450414]
  (部分)ランキング損失は、マルチラベル分類の一般的な評価尺度です。 既存の理論と実践の間にはギャップがある -- ペアワイズな損失は有望なパフォーマンスをもたらすが一貫性を欠く可能性がある。
  論文  参考訳（メタデータ） (2021-05-10T09:23:27Z)
• A surrogate loss function for optimization of $F_\beta$ score in binary classification with imbalanced data [0.0]
  提案されたサーロゲート$F_beta$損失関数の勾配パスは、$F_beta$スコアの大きなサンプル限界の勾配パスを近似する。 F_beta$損失関数はクラス不均衡下でのF_beta$スコアの最適化に有効であることを示す。
  論文  参考訳（メタデータ） (2021-04-03T18:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。