論文の概要: A Case of Exponential Convergence Rates for SVM

• arxiv url: http://arxiv.org/abs/2205.10055v2
• Date: Mon, 22 May 2023 23:57:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 01:48:55.751926
• Title: A Case of Exponential Convergence Rates for SVM
• Title（参考訳）: SVMにおける指数収束率の1例
• Authors: Vivien Cabannes, Stefano Vigogna
• Abstract要約: 分類の一般化保証は、歴史的にVapnik-Chervonenkis理論によって提供されてきた。 SVM は,固い Tsybakov マージン条件を仮定しなくても指数収束率を示すことができることを示す。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classification is often the first problem described in introductory machine learning classes. Generalization guarantees of classification have historically been offered by Vapnik-Chervonenkis theory. Yet those guarantees are based on intractable algorithms, which has led to the theory of surrogate methods in classification. Guarantees offered by surrogate methods are based on calibration inequalities, which have been shown to be highly sub-optimal under some margin conditions, failing short to capture exponential convergence phenomena. Those "super" fast rates are becoming to be well understood for smooth surrogates, but the picture remains blurry for non-smooth losses such as the hinge loss, associated with the renowned support vector machines. In this paper, we present a simple mechanism to obtain fast convergence rates and we investigate its usage for SVM. In particular, we show that SVM can exhibit exponential convergence rates even without assuming the hard Tsybakov margin condition.
• Abstract（参考訳）: 分類は、しばしば導入機械学習クラスで説明される最初の問題である。 分類の一般化保証は歴史的にvapnik-chervonenkis理論によって提供されてきた。 しかし、これらの保証は難解なアルゴリズムに基づいているため、分類におけるサロゲート法の理論が導かれる。 代理法によって提供される保証はキャリブレーションの不等式に基づいており、いくつかのマージン条件下では極めて準最適であることが示されている。 これらの「超」高速速度は滑らかなサロゲートではよく理解されているが、この画像は有名なサポートベクターマシンに関連するヒンジ損失のような非スムース損失に対してぼやけている。 本稿では,高速収束率を得るための簡単な機構を提案し,そのSVMへの応用について検討する。 特に,SVM は,固い Tsybakov マージン条件を仮定しなくても指数収束率を示すことを示す。

関連論文リスト

• Kernel Support Vector Machine Classifiers with the $\ell_0$-Norm Hinge Loss [3.007949058551534]
  Support Vector Machine (SVM)は、バイナリ分類問題において最も成功した機械学習技術の1つである。 本論文は, ヒンジ損失を持つベクトル($ell$-KSVM)に集中し, ヒンジ損失と$ell_$normの複合関数である。 合成データセットと実データセットの実験は、$ell_$-KSVMが標準のKSVMと同等の精度を達成可能であることを示すために照らされている。
  論文  参考訳（メタデータ） (2023-06-24T14:52:44Z)
• Byzantine Machine Learning Made Easy by Resilient Averaging of Momentums [7.778461949427662]
  分散機械学習コミュニティでは、ビザンチンレジリエンスが重要なトピックとして浮上した。 本稿では、最適なビザンチンレジリエンスを確立するための統一的なフレームワークであるemphRESAM(Regilient Averaging of Momentums)を提案する。
  論文  参考訳（メタデータ） (2022-05-24T16:14:50Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Multiclass learning with margin: exponential rates with no bias-variance trade-off [16.438523317718694]
  最適境界条件下でのマルチクラス分類における誤差境界の挙動について検討する。 異なる収束速度は異なるマージンの仮定に対応して得られる。
  論文  参考訳（メタデータ） (2022-02-03T18:57:27Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Conditional Bures Metric for Domain Adaptation [14.528711361447712]
  教師なしドメイン適応(UDA)は近年広く注目を集めている。 従来のUDA法では、ラベル分布の識別情報を無視しながら、異なるドメインの限界分布がシフトしていると仮定していた。 本研究では,現在の条件不変モデルに大きな関心を持つ条件分布シフト問題に焦点をあてる。
  論文  参考訳（メタデータ） (2021-07-31T18:06:31Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Constrained Classification and Policy Learning [0.0]
  制約付き分類器の集合における代理損失手順の整合性について検討する。 ヒンジ損失が第2のベストシナリオにおける一貫性を維持する唯一のサロゲート損失であることを示す。
  論文  参考訳（メタデータ） (2021-06-24T10:43:00Z)
• Beyond Tikhonov: Faster Learning with Self-Concordant Losses via Iterative Regularization [120.31448970413298]
  我々は、チコノフ正則化の理論を一般化された自己協和損失関数に拡張する。 反復的チコノフ正規化スキームを用いて, GSC に対して高速かつ最適な速度が得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:25:41Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Super fast rates in structured prediction [88.99819200562784]
  連続的な問題が連続的な値を予測しているときに、離散的な問題が本質的に離散的なアウトプットを予測しているという事実を活用する方法を示す。 まず、近接する隣人に基づく予測器について説明し、二項分類で知られている確率を、構造的予測の枠組み内の任意の離散問題に一般化する。 次に、カーネルリッジの回帰について検討し、問題の硬さを特徴付けるパラメータによって、n-1/4$の既知のレートを任意に高速化する。
  論文  参考訳（メタデータ） (2021-02-01T10:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。