論文の概要: Alternate loss functions and regression models that achieve robustness to outliers by modulating the learning rate

• arxiv url: http://arxiv.org/abs/2606.22068v2
• Date: Tue, 23 Jun 2026 10:36:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.41807
• Title: Alternate loss functions and regression models that achieve robustness to outliers by modulating the learning rate
• Title（参考訳）: 学習率を調節して外乱に対する堅牢性を達成する代替損失関数と回帰モデル
• Authors: Mathew Mithra Noel, Arindam Banerjee, Yug D. Oswal, Geraldine Bessie Amali D, Venkataraman Muthiah-Nakarajan,
• Abstract要約: ほとんどの実世界のトレーニングデータセットは、データと外れ値で汚染され、大きな予測エラーにつながる。 そこで本稿では,学習のアプローチが,外れ値に敏感な要因によって調節されるような,新たな堅牢性を実現することを提案する。
• 参考スコア（独自算出の注目度）: 5.974437898820796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most real-world datasets used for training supervised learning models are contaminated with noisy data and outliers leading to large prediction errors. This paper proposes a new approach for achieving robustness where the learning rate is modulated by a factor that is sensitive to outliers. In this approach a reduction of the learning rate is shown to be achieved by using alternate loss functions that are infinitely differentiable, strictly convex or quasiconvex and more closely approximate the absolute error than Huber and log-cosh losses. A comparison of the performance of regression models trained with different loss functions on a wide variety of benchmarks and datasets is presented to demonstrate the superior performance of the Square Root Loss (SRL) and Smooth Mean Absolute Error (SMAE) losses proposed in this paper. Two new robust linear regression models are presented. Highly vectorized robust parameter update formulae that take advantage of modern GPUs for both stochastic and batch gradient descent are presented.
• Abstract（参考訳）: 教師付き学習モデルのトレーニングに使用される現実世界のデータセットのほとんどは、ノイズの多いデータと外れ値によって汚染され、大きな予測エラーにつながる。 本稿では, 学習率を, 外れ値に敏感な要因によって調節する, 頑健性を実現するための新しい手法を提案する。 このアプローチでは、学習率の低下は、無限に微分可能、厳密な凸、あるいは準凸を持つ代替損失関数を用いて達成され、ハッバーやログコッシュの損失よりも絶対誤差に近いことが示される。 様々なベンチマークとデータセットで異なる損失関数でトレーニングされた回帰モデルの性能の比較を行い,本論文で提案したSquare Root Loss (SRL) とSmooth Mean Absolute Error (SMAE) の損失の優れた性能を示す。 2つの新しい頑健な線形回帰モデルが提示される。 確率勾配とバッチ勾配勾配の両方に現代GPUを利用する高ベクトル化ロバストパラメータ更新式を示す。

関連論文リスト

• Convex Loss Functions for Support Vector Machines (SVMs) and Neural Networks [0.0]
  本稿では,バイナリ分類と回帰モデルの両方において,Support Vector Machinesの新しい凸損失を提案する。 双対問題の数学的導出を示し、いくつかの小さなデータセット上で実験する。
  論文  参考訳（メタデータ） (2026-01-29T06:47:51Z)
• Rectifying Regression in Reinforcement Learning [51.28909745713678]
  平均絶対誤差は,学習方針の最適度差を制御するために,従来の平均二乗誤差よりもよい予測目標であることを示す。 異なる損失関数は、これらの異なる回帰目標とよりよく一致していることを示す。
  論文  参考訳（メタデータ） (2025-10-01T13:32:07Z)
• A Simplified Analysis of SGD for Linear Regression with Weight Averaging [64.2393952273612]
  最近の研究は、定常学習率を用いた線形回帰におけるSGD最適化のためのシャープレートを提供する。 簡単な線形代数ツールを用いて,2021ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグネグニグニグニグニグネグニグニグネグニ 我々の研究は線形回帰の勾配勾配を非常に容易に解析し、ミニバッチと学習率のスケジューリングのさらなる分析に役立てることができると信じている。
  論文  参考訳（メタデータ） (2025-06-18T15:10:38Z)
• Robust Capped lp-Norm Support Vector Ordinal Regression [85.84718111830752]
  正規回帰は、ラベルが固有の順序を示す特殊な教師付き問題である。 卓越した順序回帰モデルとしてのベクトル順序回帰は、多くの順序回帰タスクで広く使われている。 我々は,新たなモデルであるCapped $ell_p$-Norm Support Vector Ordinal Regression (CSVOR)を導入する。
  論文  参考訳（メタデータ） (2024-04-25T13:56:05Z)
• On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
  経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。 We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
  論文  参考訳（メタデータ） (2024-02-22T21:55:41Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• Soft-SVM Regression For Binary Classification [0.0]
  ソフトネスとクラス分離パラメータを用いたヒンジ損失関数の凸緩和に基づく新しい指数族を導入する。 この新しいファミリーはSoft-SVMと呼ばれ、ロジスティック回帰とSVM分類を効果的に橋渡しする一般化線形モデルを規定することができる。
  論文  参考訳（メタデータ） (2022-05-24T03:01:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。