論文の概要: Establishing Linear Surrogate Regret Bounds for Convex Smooth Losses via Convolutional Fenchel-Young Losses

• arxiv url: http://arxiv.org/abs/2505.09432v2
• Date: Thu, 15 May 2025 02:26:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 12:00:18.78667
• Title: Establishing Linear Surrogate Regret Bounds for Convex Smooth Losses via Convolutional Fenchel-Young Losses
• Title（参考訳）: コンベックス平滑損失に対するコンボリューショナルフェンシェル・ヤング損失による線形サロゲートレグレッド境界の確立
• Authors: Yuzhou Cao, Han Bao, Lei Feng, Bo An,
• Abstract要約: 本研究では, 線形リセット境界を調整した予測リンクで構成した凸スムーズなサロゲート損失を構築する。 この構造は、畳み込みネゲントロピーによって生じるフェンシェル・ヨンの損失に基づいている。 この結果は,コンベックス解析がリスク最小化の最適化と統計的効率にいかに浸透するかを示す新しい実証である。
• 参考スコア（独自算出の注目度）: 17.368130636104354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Surrogate regret bounds, also known as excess risk bounds, bridge the gap between the convergence rates of surrogate and target losses, with linear bounds favorable for their lossless regret transfer. While convex smooth surrogate losses are appealing in particular due to the efficient estimation and optimization, the existence of a trade-off between the smoothness and linear regret bound has been believed in the community. That being said, the better optimization and estimation properties of convex smooth surrogate losses may inevitably deteriorate after undergoing the regret transfer onto a target loss. We overcome this dilemma for arbitrary discrete target losses by constructing a convex smooth surrogate loss, which entails a linear surrogate regret bound composed with a tailored prediction link. The construction is based on Fenchel-Young losses generated by the convolutional negentropy, which are equivalent to the infimal convolution of a generalized negentropy and the target Bayes risk. Consequently, the infimal convolution enables us to derive a smooth loss while maintaining the surrogate regret bound linear. We additionally benefit from the infimal convolution to have a consistent estimator of the underlying class probability. Our results are overall a novel demonstration of how convex analysis penetrates into optimization and statistical efficiency in risk minimization.
• Abstract（参考訳）: 過大なリスク境界としても知られるサロゲート後悔境界は、サロゲートの収束率と目標損失の間のギャップを埋めるものであり、損失のない後悔移動に有利である。 特に効率的な推定と最適化により, 凸状のスムーズなサロゲート損失が魅力的である一方で, 滑らかさと線形後悔境界とのトレードオフの存在がコミュニティに信じられている。 とはいえ、凸平滑なサロゲート損失のより良い最適化と推定特性は、目標損失への後悔移動を実行した後、必然的に劣化する可能性がある。 我々は、このジレンマを任意の離散的目標損失に対して克服し、凸スムーズなサロゲート損失を構築する。 この構造は、畳み込みネゲントロピーによって生じるフェンシェル・ヤングの損失に基づいており、これは一般化ネゲントロピーの不完全な畳み込みとターゲットベイズリスクと等価である。 その結果、不完全な畳み込みは、サロゲート後悔境界線を維持しながら滑らかな損失を導出することができる。 さらに、下層のクラス確率を一貫した推定器を持つために、不完全な畳み込みの恩恵を受ける。 その結果,コンベックス解析がリスク最小化の最適化と統計的効率にいかに浸透するかを示す新しい実証結果が得られた。

関連論文リスト

• Sample Efficient Omniprediction and Downstream Swap Regret for Non-Linear Losses [4.509643050721454]
  「決定スワップ後悔」は、下流スワップ後悔と全滅の予測を一般化する。 また、オンライン逆数設定において、任意の多次元リプシッツ損失関数に対してそれを得るアルゴリズムも提供する。
  論文  参考訳（メタデータ） (2025-02-18T06:01:52Z)
• Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
  本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。 表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
  論文  参考訳（メタデータ） (2023-05-23T12:20:29Z)
• Accelerated Rates between Stochastic and Adversarial Online Convex Optimization [2.628557920905129]
  我々は,オンライン凸最適化において,対人的損失と完全対人的損失を補間する新たな後悔境界を確立する。 完全i.d.の場合、我々の後悔の限界は加速の結果から期待される速度と一致し、オンラインからバッチへの変換によって最適に加速された速度を回復する。
  論文  参考訳（メタデータ） (2023-03-06T16:41:57Z)
• An Embedding Framework for the Design and Analysis of Consistent Polyhedral Surrogates [17.596501992526477]
  コンベックス・サロゲート損失関数の組込みによる設計を,分類,ランキング,構造化リンクなどの問題に対して検討する。 埋め込みは、一貫したリンク関数と一貫したリンク関数をもたらす。 私たちの結果は、いくつかの例を示すように、構成的です。
  論文  参考訳（メタデータ） (2022-06-29T15:16:51Z)
• Between Stochastic and Adversarial Online Convex Optimization: Improved Regret Bounds via Smoothness [2.628557920905129]
  我々は,オンライン凸最適化において,対人的損失と完全対人的損失を補間する新たな後悔境界を確立する。 この目的を達成するために、損失系列に関連する2つの重要な量を導入し、累積分散と対角変動と呼ぶ。 完全な i.d. の場合、我々の境界は加速の結果から期待される速度と一致し、完全に反対の場合、ミニマックスの後悔と一致するように優雅に劣化する。
  論文  参考訳（メタデータ） (2022-02-15T16:39:33Z)
• Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
  線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。 また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-28T02:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。