論文の概要: New Smooth Loss functions for Robust Regression that Closely Approximate Absolute Error and Provide Improved Performance on Datasets With Significant Outliers

• arxiv url: http://arxiv.org/abs/2606.22068v1
• Date: Sat, 20 Jun 2026 14:39:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 16:10:15.082124
• Title: New Smooth Loss functions for Robust Regression that Closely Approximate Absolute Error and Provide Improved Performance on Datasets With Significant Outliers
• Title（参考訳）: 絶対誤差を近似したロバスト回帰関数の新しいスムースロス関数
• Authors: Mathew Mithra Noel, Arindam Banerjee, Yug D. Oswal, Geraldine Bessie Amali D, Venkataraman Muthiah-Nakarajan,
• Abstract要約: 本稿では, 平均二乗誤差(MSE)の損失を近似する新たな2つの微分可能損失関数を提案する。 各種ベンチマークおよびデータセットにおける損失関数の異なる回帰モデルの性能の比較を行った。
• 参考スコア（独自算出の注目度）: 5.974437898820796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of supervised machine learning models is directly related to the quality of the training dataset. In particular, the presence of significantly many outliers in the training data can lead to low accuracy because popular loss function like the Mean Squared Error (MSE) assign very high importance to large errors. The Mean Absolute Error (MAE) loss assigns equal importance to all errors and is most robust to outliers, but suffers from being non-differentiable at the origin. MAE also has large derivative values close to its minimum leading to instability and oscillations during training. Thus differentiable approximations to MAE namely Huber and Log-Cosh losses were introduced for robust regression tasks. This paper introduces two new infinitely differentiable loss functions that more closely approximate the MAE loss and provide improved performance on regression tasks with significantly many outliers in the training dataset. A comparison of the performance of regression models with different loss functions on a wide variety of benchmarks and datasets is presented to demonstrate the superior performance of the Square Root Loss (SRL) and Smooth Mean Absolute Error (SMAE) losses proposed in this paper. The SRL loss is shown to be strictly convex and the SMAE loss is shown to be strictly quasi-convex. Given the fundamental importance of linear regression, two new robust linear regression models are presented.
• Abstract（参考訳）: 教師付き機械学習モデルの性能は、トレーニングデータセットの品質に直接関係している。 特に、トレーニングデータにかなりの数のアウトリーチが存在することは、Mean Squared Error (MSE)のような一般的な損失関数が大きなエラーに非常に重要であるため、精度の低下につながる可能性がある。 平均絶対誤差(MAE)損失は、すべてのエラーに等しい重要性を割り当て、最も堅牢なオフレイアに割り当てられるが、原点において微分不可能である。 MAEはまた、トレーニング中の不安定性と発振につながる最小値に近い大きな微分値を持つ。 したがって、堅牢な回帰タスクのために、 MAE に対する微分可能な近似、すなわち Huber と Log-Cosh の損失が導入された。 本稿では,MAE損失をより密に近似し,トレーニングデータセットに非常に多くの外れ値を持つ回帰タスクの性能を向上させる2つの新しい無限微分可能損失関数を提案する。 様々なベンチマークとデータセットで異なる損失関数を持つ回帰モデルの性能の比較を行い,本論文で提案したSquare Root Loss (SRL) とSmooth Mean Absolute Error (SMAE) の損失の優れた性能を示す。 SRL損失は厳密な凸であり、SMAE損失は厳密な準凸である。 線形回帰の基本的な重要性を考えると、2つの新しい頑健な線形回帰モデルが提示される。

関連論文リスト

• Convex Loss Functions for Support Vector Machines (SVMs) and Neural Networks [0.0]
  本稿では,バイナリ分類と回帰モデルの両方において,Support Vector Machinesの新しい凸損失を提案する。 双対問題の数学的導出を示し、いくつかの小さなデータセット上で実験する。
  論文  参考訳（メタデータ） (2026-01-29T06:47:51Z)
• Rectifying Regression in Reinforcement Learning [51.28909745713678]
  平均絶対誤差は,学習方針の最適度差を制御するために,従来の平均二乗誤差よりもよい予測目標であることを示す。 異なる損失関数は、これらの異なる回帰目標とよりよく一致していることを示す。
  論文  参考訳（メタデータ） (2025-10-01T13:32:07Z)
• A Simplified Analysis of SGD for Linear Regression with Weight Averaging [64.2393952273612]
  最近の研究は、定常学習率を用いた線形回帰におけるSGD最適化のためのシャープレートを提供する。 簡単な線形代数ツールを用いて,2021ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグネグニグニグニグニグネグニグニグネグニ 我々の研究は線形回帰の勾配勾配を非常に容易に解析し、ミニバッチと学習率のスケジューリングのさらなる分析に役立てることができると信じている。
  論文  参考訳（メタデータ） (2025-06-18T15:10:38Z)
• Robust Capped lp-Norm Support Vector Ordinal Regression [85.84718111830752]
  正規回帰は、ラベルが固有の順序を示す特殊な教師付き問題である。 卓越した順序回帰モデルとしてのベクトル順序回帰は、多くの順序回帰タスクで広く使われている。 我々は,新たなモデルであるCapped $ell_p$-Norm Support Vector Ordinal Regression (CSVOR)を導入する。
  論文  参考訳（メタデータ） (2024-04-25T13:56:05Z)
• On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
  経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。 We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
  論文  参考訳（メタデータ） (2024-02-22T21:55:41Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• Soft-SVM Regression For Binary Classification [0.0]
  ソフトネスとクラス分離パラメータを用いたヒンジ損失関数の凸緩和に基づく新しい指数族を導入する。 この新しいファミリーはSoft-SVMと呼ばれ、ロジスティック回帰とSVM分類を効果的に橋渡しする一般化線形モデルを規定することができる。
  論文  参考訳（メタデータ） (2022-05-24T03:01:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。