論文の概要: Learning with Smooth Hinge Losses
- arxiv url: http://arxiv.org/abs/2103.00233v1
- Date: Sat, 27 Feb 2021 14:50:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-04 18:05:35.401322
- Title: Learning with Smooth Hinge Losses
- Title(参考訳): Smooth Hinge Lossesによる学習
- Authors: JunRu Luo, Hong Qiao and Bo Zhang
- Abstract要約: 我々は、$psi_G(alpha;sigma)$と$psi_M(alpha;sigma)$の2つの滑らかなヒンジ損失を紹介します。
テキスト分類タスクの実験では,提案したSSVMが実世界のアプリケーションに有効であることが示されている。
- 参考スコア(独自算出の注目度): 15.288802707471792
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the non-smoothness of the Hinge loss in SVM, it is difficult to obtain
a faster convergence rate with modern optimization algorithms. In this paper,
we introduce two smooth Hinge losses $\psi_G(\alpha;\sigma)$ and
$\psi_M(\alpha;\sigma)$ which are infinitely differentiable and converge to the
Hinge loss uniformly in $\alpha$ as $\sigma$ tends to $0$. By replacing the
Hinge loss with these two smooth Hinge losses, we obtain two smooth support
vector machines(SSVMs), respectively. Solving the SSVMs with the Trust Region
Newton method (TRON) leads to two quadratically convergent algorithms.
Experiments in text classification tasks show that the proposed SSVMs are
effective in real-world applications. We also introduce a general smooth convex
loss function to unify several commonly-used convex loss functions in machine
learning. The general framework provides smooth approximation functions to
non-smooth convex loss functions, which can be used to obtain smooth models
that can be solved with faster convergent optimization algorithms.
- Abstract(参考訳): SVMにおけるヒンジ損失の非滑らか性のため、現代の最適化アルゴリズムでより高速な収束率を得るのは難しい。
本稿では、$\sigma$ が $0$ になる傾向があるため、無限に微分可能で、$\alpha$ で一様にヒンジ損失に収束する 2 つの滑らかなヒンジ損失 $\psi_G(\alpha;\sigma)$ と $\psi_M(\alpha;\sigma)$ を紹介します。
ヒンジ損失を2つの滑らかなヒンジ損失に置き換えることで、それぞれ2つのスムーズなサポートベクターマシン(SSVM)を得る。
Trust Region Newtonメソッド(TRON)によるSSVMの解決は、2つの二次収束アルゴリズムにつながります。
テキスト分類タスクの実験では,提案したSSVMが実世界のアプリケーションに有効であることが示されている。
また,一般的な凸損失関数を導入し,機械学習においてよく用いられる凸損失関数を統一する。
一般のフレームワークは滑らかな近似関数を非滑らかな凸損失関数に提供し、より高速な収束最適化アルゴリズムで解ける滑らかなモデルを得るのに使用できる。
関連論文リスト
- Distributed Extra-gradient with Optimal Complexity and Communication
Guarantees [60.571030754252824]
複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。
モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。
そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
論文 参考訳(メタデータ) (2023-08-17T21:15:04Z) - Universal Online Learning with Gradient Variations: A Multi-layer Online
Ensemble Approach [65.10444843694003]
本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。
我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $widehatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
論文 参考訳(メタデータ) (2023-07-17T09:55:35Z) - An Oblivious Stochastic Composite Optimization Algorithm for Eigenvalue
Optimization Problems [76.2042837251496]
相補的な合成条件に基づく2つの難解なミラー降下アルゴリズムを導入する。
注目すべきは、どちらのアルゴリズムも、目的関数のリプシッツ定数や滑らかさに関する事前の知識なしで機能する。
本稿では,大規模半確定プログラム上での手法の効率性とロバスト性を示す。
論文 参考訳(メタデータ) (2023-06-30T08:34:29Z) - Kernel Support Vector Machine Classifiers with the $\ell_0$-Norm Hinge
Loss [3.007949058551534]
Support Vector Machine (SVM)は、バイナリ分類問題において最も成功した機械学習技術の1つである。
本論文は, ヒンジ損失を持つベクトル($ell$-KSVM)に集中し, ヒンジ損失と$ell_$normの複合関数である。
合成データセットと実データセットの実験は、$ell_$-KSVMが標準のKSVMと同等の精度を達成可能であることを示すために照らされている。
論文 参考訳(メタデータ) (2023-06-24T14:52:44Z) - On Convergence of Incremental Gradient for Non-Convex Smooth Functions [63.51187646914962]
機械学習とネットワーク最適化では、ミスの数と優れたキャッシュを最小化するため、シャッフルSGDのようなアルゴリズムが人気である。
本稿では任意のデータ順序付けによる収束特性SGDアルゴリズムについて述べる。
論文 参考訳(メタデータ) (2023-05-30T17:47:27Z) - Gradient-Free Methods for Deterministic and Stochastic Nonsmooth
Nonconvex Optimization [94.19177623349947]
非滑らかな非最適化問題は、機械学習とビジネス製造に現れる。
2つのコア課題は、有限収束を保証する効率的な方法の開発を妨げる。
GFMとSGFMの2相版も提案され, 改良された大規模評価結果が得られた。
論文 参考訳(メタデータ) (2022-09-12T06:53:24Z) - Optimal Gradient Sliding and its Application to Distributed Optimization
Under Similarity [121.83085611327654]
積 $r:=p + q$, ここで$r$は$mu$-strong convex類似性である。
エージェントの通信やローカルコールにマスターされた問題を解決する方法を提案する。
提案手法は$mathcalO(sqrtL_q/mu)$法よりもはるかにシャープである。
論文 参考訳(メタデータ) (2022-05-30T14:28:02Z) - An Improved Analysis of Gradient Tracking for Decentralized Machine
Learning [34.144764431505486]
トレーニングデータが$n$エージェントに分散されるネットワーク上での分散機械学習を検討する。
エージェントの共通の目標は、すべての局所損失関数の平均を最小化するモデルを見つけることである。
ノイズのない場合、$p$を$mathcalO(p-1)$から$mathcalO(p-1)$に改善します。
論文 参考訳(メタデータ) (2022-02-08T12:58:14Z) - Gradient-Based Empirical Risk Minimization using Local Polynomial
Regression [39.29885444997579]
この論文の主な目標は、勾配降下(GD)や勾配降下(SGD)といった異なるアルゴリズムを比較することである。
損失関数がデータのスムーズな場合、各反復でオラクルを学習し、GDとSGDの両方のオラクル複雑度に打ち勝つことができることを示す。
論文 参考訳(メタデータ) (2020-11-04T20:10:31Z) - Hybrid Variance-Reduced SGD Algorithms For Nonconvex-Concave Minimax
Problems [26.24895953952318]
我々は,非ガンスミニマックス問題のクラスを解くアルゴリズムを開発した。
また、単一または2つのミニバッチ誘導体でも機能する。
論文 参考訳(メタデータ) (2020-06-27T03:05:18Z) - Unified SVM Algorithm Based on LS-DC Loss [0.0]
異なるSVMモデルをトレーニングできるアルゴリズムを提案する。
UniSVMはクローズドフォームのソリューションであるため、既存のすべてのアルゴリズムに対して圧倒的な優位性がある。
実験によると、UniSVMはトレーニング時間の短縮で同等のパフォーマンスを達成できる。
論文 参考訳(メタデータ) (2020-06-16T12:40:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。