論文の概要: Convex Loss Functions for Support Vector Machines (SVMs) and Neural Networks

• arxiv url: http://arxiv.org/abs/2601.21331v2
• Date: Tue, 03 Feb 2026 16:20:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 16:18:58.808955
• Title: Convex Loss Functions for Support Vector Machines (SVMs) and Neural Networks
• Title（参考訳）: サポートベクトルマシン(SVM)とニューラルネットワークのための凸損失関数
• Authors: Filippo Portera,
• Abstract要約: 本稿では,バイナリ分類と回帰モデルの両方において,Support Vector Machinesの新しい凸損失を提案する。 双対問題の数学的導出を示し、いくつかの小さなデータセット上で実験する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a new convex loss for Support Vector Machines, both for the binary classification and for the regression models. Therefore, we show the mathematical derivation of the dual problems and we experiment with them on several small datasets. The minimal dimension of those datasets is due to the difficult scalability of the SVM method to bigger instances. This preliminary study should prove that using pattern correlations inside the loss function could enhance the generalisation performances. Our method consistently achieved comparable or superior performance, with improvements of up to 2.0% in F1 scores for classification tasks and 1.0% reduction in Mean Squared Error (MSE) for regression tasks across various datasets, compared to standard losses. Coherently, results show that generalisation measures are never worse than the standard losses and several times they are better. In our opinion, it should be considered a careful study of this loss, coupled with shallow and deep neural networks. In fact, we present some novel results obtained with those architectures.
• Abstract（参考訳）: 本稿では,バイナリ分類と回帰モデルの両方において,Support Vector Machinesの新しい凸損失を提案する。 そこで本研究では,2つの問題を数学的に導出し,いくつかの小さなデータセット上で実験する。 これらのデータセットの最小次元は、より大きなインスタンスへのSVMメソッドのスケーラビリティが難しいためです。 この予備的な研究は、損失関数内部のパターン相関を用いることで一般化性能が向上することを示した。 我々の手法は、分類タスクのF1スコアの最大2.0%、様々なデータセットにおける回帰タスクのMean Squared Error(MSE)の1.0%の改善と、標準的損失よりも優れたパフォーマンスを継続的に達成した。 結果として、一般化対策は標準的損失よりも決して悪くなく、何回か良い結果が得られている。 我々の意見では、浅いニューラルネットワークと深いニューラルネットワークを組み合わせることで、この損失について慎重に研究すべきである。 実際、これらのアーキテクチャで得られたいくつかの新しい結果を示す。

関連論文リスト

• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Random Linear Projections Loss for Hyperplane-Based Optimization in Neural Networks [22.348887008547653]
  この研究はRandom Linear Projections (RLP)損失を導入し、これはデータ内の幾何学的関係を利用してトレーニング効率を向上させる新しいアプローチである。 ベンチマークデータセットと合成例を用いて実施した経験的評価では、従来の損失関数でトレーニングされたニューラルネットワークは、従来の損失関数でトレーニングされたニューラルネットワークよりも優れていたことが示されている。
  論文  参考訳（メタデータ） (2023-11-21T05:22:39Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
  ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。 我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
  論文  参考訳（メタデータ） (2023-05-31T08:13:14Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Understanding Square Loss in Training Overparametrized Neural Network Classifiers [31.319145959402462]
  過度にパラメータ化されたニューラルネットワークでどのように機能するかを体系的に検討することにより、分類における二乗損失の理論的理解に寄与する。 クラスが分離可能か否かに応じて2つのケースを考慮する。一般的な非分離可能の場合、誤分類率と校正誤差の両方について、高速収束率が確立される。 結果として得られるマージンはゼロから下界であることが証明され、ロバスト性の理論的な保証を提供する。
  論文  参考訳（メタデータ） (2021-12-07T12:12:30Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• A generalized quadratic loss for SVM and Deep Neural Networks [0.0]
  我々は、いくつかの監督されたバイナリ分類タスクと回帰タスクを検討するが、SVMとDeep Learningは現在、最高の一般化パフォーマンスを示す。 パターン相関を検討する学習問題に対する一般化二次損失に関する研究[3]を拡張し、パターンがより高密度に分布する入力空間領域に学習問題を集中させる。
  論文  参考訳（メタデータ） (2021-02-15T15:49:08Z)
• Robustifying Binary Classification to Adversarial Perturbation [45.347651499585055]
  本稿では,対向摂動を伴う二分分類の問題について考察する。 データを操作する際の敵の力を考慮に入れたマックスマージン分類器に一般化を導入する。 損失関数に関するいくつかの軽微な仮定の下では、勾配降下がその方向のRM分類器に収束することを理論的に示す。
  論文  参考訳（メタデータ） (2020-10-29T07:20:37Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。