論文の概要: Learning with Smooth Hinge Losses

• arxiv url: http://arxiv.org/abs/2103.00233v1
• Date: Sat, 27 Feb 2021 14:50:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-04 18:05:35.401322
• Title: Learning with Smooth Hinge Losses
• Title（参考訳）: Smooth Hinge Lossesによる学習
• Authors: JunRu Luo, Hong Qiao and Bo Zhang
• Abstract要約: 我々は、$psi_G(alpha;sigma)$と$psi_M(alpha;sigma)$の2つの滑らかなヒンジ損失を紹介します。 テキスト分類タスクの実験では,提案したSSVMが実世界のアプリケーションに有効であることが示されている。
• 参考スコア（独自算出の注目度）: 15.288802707471792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to the non-smoothness of the Hinge loss in SVM, it is difficult to obtain a faster convergence rate with modern optimization algorithms. In this paper, we introduce two smooth Hinge losses $\psi_G(\alpha;\sigma)$ and $\psi_M(\alpha;\sigma)$ which are infinitely differentiable and converge to the Hinge loss uniformly in $\alpha$ as $\sigma$ tends to $0$. By replacing the Hinge loss with these two smooth Hinge losses, we obtain two smooth support vector machines(SSVMs), respectively. Solving the SSVMs with the Trust Region Newton method (TRON) leads to two quadratically convergent algorithms. Experiments in text classification tasks show that the proposed SSVMs are effective in real-world applications. We also introduce a general smooth convex loss function to unify several commonly-used convex loss functions in machine learning. The general framework provides smooth approximation functions to non-smooth convex loss functions, which can be used to obtain smooth models that can be solved with faster convergent optimization algorithms.
• Abstract（参考訳）: SVMにおけるヒンジ損失の非滑らか性のため、現代の最適化アルゴリズムでより高速な収束率を得るのは難しい。 本稿では、$\sigma$ が $0$ になる傾向があるため、無限に微分可能で、$\alpha$ で一様にヒンジ損失に収束する 2 つの滑らかなヒンジ損失 $\psi_G(\alpha;\sigma)$ と $\psi_M(\alpha;\sigma)$ を紹介します。 ヒンジ損失を2つの滑らかなヒンジ損失に置き換えることで、それぞれ2つのスムーズなサポートベクターマシン(SSVM)を得る。 Trust Region Newtonメソッド(TRON)によるSSVMの解決は、2つの二次収束アルゴリズムにつながります。 テキスト分類タスクの実験では,提案したSSVMが実世界のアプリケーションに有効であることが示されている。 また,一般的な凸損失関数を導入し,機械学習においてよく用いられる凸損失関数を統一する。 一般のフレームワークは滑らかな近似関数を非滑らかな凸損失関数に提供し、より高速な収束最適化アルゴリズムで解ける滑らかなモデルを得るのに使用できる。

関連論文リスト

• Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
  我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。 特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
  論文  参考訳（メタデータ） (2024-09-23T13:11:37Z)
• $p$SVM: Soft-margin SVMs with $p$-norm Hinge Loss [0.0]
  ヒンジ損失に基づくサポートベクトルマシン(SVM)は、様々なバイナリ分類タスクに広く議論され、適用されてきた。 本稿では,$p$SVMの特性,性能,トレーニングアルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2024-08-19T11:30:00Z)
• MGDA Converges under Generalized Smoothness, Provably [27.87166415148172]
  多目的最適化(MOO)はマルチタスク学習など様々な分野で注目を集めている。 最近の研究は、理論解析を伴う効果的なアルゴリズムを提供しているが、それらは標準の$L$-smoothあるいは有界勾配仮定によって制限されている。 一般化された$ell$-smooth損失関数のより一般的で現実的なクラスについて研究し、$ell$は勾配ノルムの一般非減少関数である。
  論文  参考訳（メタデータ） (2024-05-29T18:36:59Z)
• Random Scaling and Momentum for Non-smooth Non-convex Optimization [38.443430569753026]
  ニューラルネットワークのトレーニングには、非常に不規則な、特に凸や滑らかな損失関数が必要である。 一般的なトレーニングアルゴリズムは運動量による勾配降下(SGDM)に基づいており、損失が凸あるいは滑らかである場合にのみ解析が適用される。
  論文  参考訳（メタデータ） (2024-05-16T00:52:03Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• Distributed Extra-gradient with Optimal Complexity and Communication Guarantees [60.571030754252824]
  複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。 モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。 そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
  論文  参考訳（メタデータ） (2023-08-17T21:15:04Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Kernel Support Vector Machine Classifiers with the $\ell_0$-Norm Hinge Loss [3.007949058551534]
  Support Vector Machine (SVM)は、バイナリ分類問題において最も成功した機械学習技術の1つである。 本論文は, ヒンジ損失を持つベクトル($ell$-KSVM)に集中し, ヒンジ損失と$ell_$normの複合関数である。 合成データセットと実データセットの実験は、$ell_$-KSVMが標準のKSVMと同等の精度を達成可能であることを示すために照らされている。
  論文  参考訳（メタデータ） (2023-06-24T14:52:44Z)
• On Convergence of Incremental Gradient for Non-Convex Smooth Functions [63.51187646914962]
  機械学習とネットワーク最適化では、ミスの数と優れたキャッシュを最小化するため、シャッフルSGDのようなアルゴリズムが人気である。 本稿では任意のデータ順序付けによる収束特性SGDアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2023-05-30T17:47:27Z)
• Optimal Gradient Sliding and its Application to Distributed Optimization Under Similarity [121.83085611327654]
  積 $r:=p + q$, ここで$r$は$mu$-strong convex類似性である。 エージェントの通信やローカルコールにマスターされた問題を解決する方法を提案する。 提案手法は$mathcalO(sqrtL_q/mu)$法よりもはるかにシャープである。
  論文  参考訳（メタデータ） (2022-05-30T14:28:02Z)
• Unified SVM Algorithm Based on LS-DC Loss [0.0]
  異なるSVMモデルをトレーニングできるアルゴリズムを提案する。 UniSVMはクローズドフォームのソリューションであるため、既存のすべてのアルゴリズムに対して圧倒的な優位性がある。 実験によると、UniSVMはトレーニング時間の短縮で同等のパフォーマンスを達成できる。
  論文  参考訳（メタデータ） (2020-06-16T12:40:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。