論文の概要: Online Structured Prediction with Fenchel--Young Losses and Improved
Surrogate Regret for Online Multiclass Classification with Logistic Loss
- arxiv url: http://arxiv.org/abs/2402.08180v1
- Date: Tue, 13 Feb 2024 02:36:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 16:40:19.695849
- Title: Online Structured Prediction with Fenchel--Young Losses and Improved
Surrogate Regret for Online Multiclass Classification with Logistic Loss
- Title(参考訳): ロジスティック損失を伴うオンライン多クラス分類におけるFenchel-Young LossesとSurrogate Regretの改善によるオンライン構造化予測
- Authors: Shinsaku Sakaue, Han Bao, Taira Tsuchiya, Taihei Oki
- Abstract要約: フルインフォメーションフィードバックを用いたオンライン構造化予測について検討する。
我々はエクスプロイト・ザ・サロゲート・ギャップ・フレームワークをemphFenchelによるオンライン構造化予測に拡張する。
- 参考スコア(独自算出の注目度): 27.858617507691655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies online structured prediction with full-information
feedback. For online multiclass classification, van der Hoeven (2020) has
obtained surrogate regret bounds independent of the time horizon, or
\emph{finite}, by introducing an elegant \emph{exploit-the-surrogate-gap}
framework. However, this framework has been limited to multiclass
classification primarily because it relies on a classification-specific
procedure for converting estimated scores to outputs. We extend the
exploit-the-surrogate-gap framework to online structured prediction with
\emph{Fenchel--Young losses}, a large family of surrogate losses including the
logistic loss for multiclass classification, obtaining finite surrogate regret
bounds in various structured prediction problems. To this end, we propose and
analyze \emph{randomized decoding}, which converts estimated scores to general
structured outputs. Moreover, by applying our decoding to online multiclass
classification with the logistic loss, we obtain a surrogate regret bound of
$O(B^2)$, where $B$ is the $\ell_2$-diameter of the domain. This bound is tight
up to logarithmic factors and improves the previous bound of $O(dB^2)$ due to
van der Hoeven (2020) by a factor of $d$, the number of classes.
- Abstract(参考訳): 本稿では,全情報フィードバックによるオンライン構造化予測について検討する。
オンライン多クラス分類において、van der Hoeven (2020) は、時間地平線とは無関係に、上品な \emph{exploit-the-surrogate-gap} フレームワークを導入することで、補遺境界を得た。
しかし、このフレームワークは主に、推定スコアを出力に変換するための分類固有の手順に依存するため、マルチクラス分類に限られている。
我々は,多クラス分類におけるロジスティックな損失を含む大規模なサロゲート損失ファミリーである 'emph{Fenchel-Young loss} によるオンライン構造化予測にエクスプロイト・ザ・サロゲート・ギャップ・フレームワークを拡張し,構造化予測問題における有限サロゲート・リセット境界を求める。
この目的のために,推定スコアを一般的な構造化出力に変換する \emph{randomized decoding} を提案し,解析する。
さらに、ロジスティック損失を伴うオンラインマルチクラス分類にデコードを適用することで、o(b^2)$というサロゲートな後悔が得られ、ここでは$b$がドメインの$\ell_2$-diameterである。
この境界は対数的因子に強くなり、ファン・デル・ホーヴェン (2020) による以前の$O(dB^2)$の上限は、クラスの数である$d$の因子によって改善される。
関連論文リスト
- A Universal Growth Rate for Learning with Smooth Surrogate Losses [30.389055604165222]
2進分類におけるスムーズなマージンベースサロゲート損失に対して,0付近の平方根成長速度を証明した。
我々は、この分析を、一連の新しい結果でマルチクラス分類に拡張する。
論文 参考訳(メタデータ) (2024-05-09T17:59:55Z) - Generalization Properties of Adversarial Training for $\ell_0$-Bounded
Adversarial Attacks [47.22918498465056]
本稿では,ニューラルネットワークの重要なクラスに対する対人訓練の性能を理論的に特徴付けることを目的とする。
この設定での一般化の導出には2つの大きな課題がある。
論文 参考訳(メタデータ) (2024-02-05T22:57:33Z) - Unified Binary and Multiclass Margin-Based Classification [32.237333064801874]
本稿では,多くの人気関数を含む多クラス損失関数を,相対的マージン形式で表現できることを示す。
次に、Fenchel-Young の損失のクラスを分析し、これらの損失の集合を分類校正(class-calibrated)として拡張する。
論文 参考訳(メタデータ) (2023-11-29T16:24:32Z) - Balanced Classification: A Unified Framework for Long-Tailed Object
Detection [74.94216414011326]
従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。
本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。
BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
論文 参考訳(メタデータ) (2023-08-04T09:11:07Z) - Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class
Incremental Learning [120.53458753007851]
FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。
我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。
我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
論文 参考訳(メタデータ) (2023-02-06T18:39:40Z) - An Intermediate-level Attack Framework on The Basis of Linear Regression [89.85593878754571]
本論文はECCVにおいて,いくつかのベースライン対向例の転送性を改善するため,中間レベルアタック(中間レベルアタック)を提案し,本研究を実質的に拡張するものである。
我々は,中間レベルの相違点(対角的特徴と良性的特徴)から,対角的例の分類的損失への直接的な線形写像の確立を提唱する。
1) 様々な線形回帰モデルがマッピングを確立するために考慮可能であること,2) 最終的に得られた中間レベル差の大きさが逆転率と線形に相関していること,3) ベースラインアタックを複数回実行することで,さらなる性能向上が達成できること,などが示される。
論文 参考訳(メタデータ) (2022-03-21T03:54:53Z) - Constrained Classification and Policy Learning [0.0]
制約付き分類器の集合における代理損失手順の整合性について検討する。
ヒンジ損失が第2のベストシナリオにおける一貫性を維持する唯一のサロゲート損失であることを示す。
論文 参考訳(メタデータ) (2021-06-24T10:43:00Z) - Binary Classification from Multiple Unlabeled Datasets via Surrogate Set
Classification [94.55805516167369]
我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。
我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
論文 参考訳(メタデータ) (2021-02-01T07:36:38Z) - Theoretical Insights Into Multiclass Classification: A High-dimensional
Asymptotic View [82.80085730891126]
線形多クラス分類の最初の現代的精度解析を行う。
分析の結果,分類精度は分布に依存していることがわかった。
得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
論文 参考訳(メタデータ) (2020-11-16T05:17:29Z) - Exploiting the Surrogate Gap in Online Multiclass Classification [13.452510519858995]
Gaptronは、オンラインのマルチクラス分類のためのランダム化された一階述語アルゴリズムである。
その結果,ロジスティックな損失,ヒンジの損失,スムーズなヒンジの損失に対して,常に後悔する結果が得られた。
ゼロワン損失とサロゲート損失のギャップを利用した新しい証明手法を提案する。
論文 参考訳(メタデータ) (2020-07-24T16:19:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。