論文の概要: Online Structured Prediction with Fenchel--Young Losses and Improved Surrogate Regret for Online Multiclass Classification with Logistic Loss

• arxiv url: http://arxiv.org/abs/2402.08180v3
• Date: Tue, 22 Oct 2024 09:23:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:24:41.936400
• Title: Online Structured Prediction with Fenchel--Young Losses and Improved Surrogate Regret for Online Multiclass Classification with Logistic Loss
• Title（参考訳）: ロジスティック損失を伴うオンライン多クラス分類におけるFenchel-Young LossesとSurrogate Regretの改善によるオンライン構造化予測
• Authors: Shinsaku Sakaue, Han Bao, Taira Tsuchiya, Taihei Oki,
• Abstract要約: フルインフォメーションフィードバックを用いたオンライン構造化予測について検討する。 我々はエクスプロイト・ザ・サロゲート・ギャップ・フレームワークをemphFenchelによるオンライン構造化予測に拡張する。
• 参考スコア（独自算出の注目度）: 25.50155563108198
• License:
• Abstract: This paper studies online structured prediction with full-information feedback. For online multiclass classification, Van der Hoeven (2020) established \emph{finite} surrogate regret bounds, which are independent of the time horizon, by introducing an elegant \emph{exploit-the-surrogate-gap} framework. However, this framework has been limited to multiclass classification primarily because it relies on a classification-specific procedure for converting estimated scores to outputs. We extend the exploit-the-surrogate-gap framework to online structured prediction with \emph{Fenchel--Young losses}, a large family of surrogate losses that includes the logistic loss for multiclass classification as a special case, obtaining finite surrogate regret bounds in various structured prediction problems. To this end, we propose and analyze \emph{randomized decoding}, which converts estimated scores to general structured outputs. Moreover, by applying our decoding to online multiclass classification with the logistic loss, we obtain a surrogate regret bound of $O(\| \mathbf{U} \|_\mathrm{F}^2)$, where $\mathbf{U}$ is the best offline linear estimator and $\| \cdot \|_\mathrm{F}$ denotes the Frobenius norm. This bound is tight up to logarithmic factors and improves the previous bound of $O(d\| \mathbf{U} \|_\mathrm{F}^2)$ due to Van der Hoeven (2020) by a factor of $d$, the number of classes.
• Abstract（参考訳）: 本稿では,全情報フィードバックを用いたオンライン構造化予測について検討する。 オンライン多クラス分類において、Van der Hoeven (2020) は、時間の地平線とは独立な「emph{exploit-the-surrogate-gap}」フレームワークを導入して「emph{finite}surrogate」境界を確立した。 しかし、このフレームワークは主に、推定スコアを出力に変換するための分類固有の手順に依存するため、マルチクラス分類に限られている。 我々は,多クラス分類におけるロジスティックな損失を含む大規模サロゲート損失の族である 'emph{Fenchel-Young loss} によるオンライン構造化予測にエクスプロイト・ザ・サロゲート・ギャップ・フレームワークを拡張し,種々の構造化予測問題における有限サロゲート後悔境界を求める。 この目的のために、推定したスコアを一般的な構造化出力に変換する \emph{randomized decoding} を提案し、分析する。 さらに、ロジスティック損失を伴うオンラインマルチクラス分類にデコードを適用することで、$O(\| \mathbf{U} \|_\mathrm{F}^2)$の代理的後悔境界を求め、$\mathbf{U}$は最良の線形線形推定器であり、$\| \cdot \|_\mathrm{F}$はフロベニウスノルムを表す。 この境界は対数的因子に強くなり、Van der Hoeven (2020) による$O(d\| \mathbf{U} \|_\mathrm{F}^2) の以前の境界を $d$ の係数で改善する。

関連論文リスト

• The Implicit Bias of Gradient Descent on Separable Multiclass Data [38.05903703331163]
  我々は、指数的尾特性のマルチクラス拡張を導入するために、置換同変と相対マージンベース(PERM)損失の枠組みを用いる。 提案手法は二分法の場合をよく反映しており,二分法と多分法のギャップを埋めるためのPERMフレームワークの威力を示すものである。
  論文  参考訳（メタデータ） (2024-11-02T19:39:21Z)
• The Real Price of Bandit Information in Multiclass Classification [73.17969992976501]
  バンディットフィードバックを用いた複数クラス分類の古典的問題を再考する。 我々は, 後悔すべき$smashwidetildeO(|H|+sqrtT)$を保証する新しい帯域分類アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-16T12:11:09Z)
• A Universal Growth Rate for Learning with Smooth Surrogate Losses [30.389055604165222]
  2進分類におけるスムーズなマージンベースサロゲート損失に対して,0付近の平方根成長速度を証明した。 我々は、この分析を、一連の新しい結果でマルチクラス分類に拡張する。
  論文  参考訳（メタデータ） (2024-05-09T17:59:55Z)
• Generalization Properties of Adversarial Training for $\ell_0$-Bounded Adversarial Attacks [47.22918498465056]
  本稿では,ニューラルネットワークの重要なクラスに対する対人訓練の性能を理論的に特徴付けることを目的とする。 この設定での一般化の導出には2つの大きな課題がある。
  論文  参考訳（メタデータ） (2024-02-05T22:57:33Z)
• Unified Binary and Multiclass Margin-Based Classification [27.28814893730265]
  本稿では,多くの人気関数を含む多クラス損失関数を,相対的マージン形式で表現できることを示す。 次に、Fenchel-Young の損失のクラスを分析し、これらの損失の集合を分類校正(class-calibrated)として拡張する。
  論文  参考訳（メタデータ） (2023-11-29T16:24:32Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• GistNet: a Geometric Structure Transfer Network for Long-Tailed Recognition [95.93760490301395]
  長い尾の認識は、クラスごとのサンプル数が非常にアンバランスである問題です。 GistNetは、クラスジオメトリをエンコードするために分類パラメータのコンステレーションを使用して、この目標をサポートするように提案されている。 新しい学習アルゴリズムがGeometrIc Structure Transfer (GIST) に提案され、クラスバランスとランダムサンプリングを組み合わせた損失関数の組み合わせにより、一般的なクラスに過度に適合することは幾何パラメータに制限されるが、人気クラスから少数ショットクラスへのクラス幾何学の転送に利用される。
  論文  参考訳（メタデータ） (2021-05-01T00:37:42Z)
• Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
  勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
  論文  参考訳（メタデータ） (2020-10-01T16:48:33Z)
• Exploiting the Surrogate Gap in Online Multiclass Classification [13.452510519858995]
  Gaptronは、オンラインのマルチクラス分類のためのランダム化された一階述語アルゴリズムである。 その結果,ロジスティックな損失,ヒンジの損失,スムーズなヒンジの損失に対して,常に後悔する結果が得られた。 ゼロワン損失とサロゲート損失のギャップを利用した新しい証明手法を提案する。
  論文  参考訳（メタデータ） (2020-07-24T16:19:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。