論文の概要: Cauchy Loss Function: Robustness Under Gaussian and Cauchy Noise

• arxiv url: http://arxiv.org/abs/2302.07238v1
• Date: Tue, 14 Feb 2023 18:34:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-15 14:42:30.598020
• Title: Cauchy Loss Function: Robustness Under Gaussian and Cauchy Noise
• Title（参考訳）: Cauchy Loss関数:GaussianおよびCauchyノイズ下でのロバスト性
• Authors: Thamsanqa Mlotshwa and Heinrich van Deventer and Anna Sergeevna Bosman
• Abstract要約: 教師付き機械学習では、損失関数の選択はデータ上の特定のノイズ分布を暗黙的に仮定する。 コーシー損失関数 (CLF) はコーシーノイズ分布を仮定するので、オフ値を持つデータに適している可能性がある。 CLFはMSEの結果に匹敵する結果を得たが、例外はいくつかあった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In supervised machine learning, the choice of loss function implicitly assumes a particular noise distribution over the data. For example, the frequently used mean squared error (MSE) loss assumes a Gaussian noise distribution. The choice of loss function during training and testing affects the performance of artificial neural networks (ANNs). It is known that MSE may yield substandard performance in the presence of outliers. The Cauchy loss function (CLF) assumes a Cauchy noise distribution, and is therefore potentially better suited for data with outliers. This papers aims to determine the extent of robustness and generalisability of the CLF as compared to MSE. CLF and MSE are assessed on a few handcrafted regression problems, and a real-world regression problem with artificially simulated outliers, in the context of ANN training. CLF yielded results that were either comparable to or better than the results yielded by MSE, with a few notable exceptions.
• Abstract（参考訳）: 教師付き機械学習では、損失関数の選択はデータ上の特定のノイズ分布を暗黙的に仮定する。 例えば、頻繁に使用される平均二乗誤差(MSE)損失はガウス雑音分布を仮定する。 トレーニングとテスト中の損失関数の選択は、人工知能ニューラルネットワーク(ANN)の性能に影響する。 MSEは外れ値の存在下で準標準性能が得られることが知られている。 コーシー損失関数 (CLF) はコーシーノイズ分布を仮定するので、オフ値を持つデータに適している可能性がある。 本論文は, CLFのロバスト性および一般性について, MSEと比較して検討することを目的とする。 clfとmseは、アントレーニングの文脈において、いくつかの手作りの回帰問題と、人工的にシミュレートされた異常値による実世界の回帰問題で評価される。 CLFはMSEの結果に匹敵する結果を得たが、例外はいくつかあった。

関連論文リスト

• Residual-based Adaptive Huber Loss (RAHL) -- Design of an improved Huber loss for CQI prediction in 5G networks [0.7499722271664144]
  我々はResidual-based Adaptive Huber Loss (RAHL)という新しい損失関数を提案する。 RAHLは、不整合データ精度を維持しながら、外れ値に対する堅牢性をバランスさせる。 その結果、RAHLの優位性が確認され、5GネットワークにおけるCQI予測の強化に期待できる道が開かれた。
  論文  参考訳（メタデータ） (2024-08-27T00:58:32Z)
• On Sequential Loss Approximation for Continual Learning [0.0]
  連続学習用オートディフ2次統合(AQC)とニューラル・コンソリデーション(NC)について紹介する。 AQCは前回の損失関数を二次関数に近似し、NCは前回の損失関数をニューラルネットワークに近似する。 本研究では,これらの手法を,正規化に基づく手法が不満足な結果をもたらすクラス増分学習において実証的に研究する。
  論文  参考訳（メタデータ） (2024-05-26T09:20:47Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
  経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。 We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
  論文  参考訳（メタデータ） (2024-02-22T21:55:41Z)
• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• Regularized ERM on random subspaces [17.927376388967144]
  我々は、Nystromがカーネルメソッドに近づいた特殊なケースとして、データのランダムなサブセットにまたがるデータ依存部分空間を考える。 ランダムな部分空間を考えると自然に計算上の節約につながるが、問題は対応する学習精度が劣化するかどうかである。
  論文  参考訳（メタデータ） (2022-12-04T16:12:11Z)
• The Fisher-Rao Loss for Learning under Label Noise [9.238700679836855]
  離散分布の統計多様体におけるフィッシャー・ラオ距離から生じるフィッシャー・ラオ損失関数について検討する。 ラベルノイズの存在下での性能劣化の上限を導出し,この損失の学習速度を解析する。
  論文  参考訳（メタデータ） (2022-10-28T20:50:10Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Asymmetric Loss Functions for Learning with Noisy Labels [82.50250230688388]
  そこで本研究では,様々なノイズに対する雑音ラベルによる学習に頑健な,新しい損失関数,すなわちテクスティタ対称損失関数を提案する。 ベンチマークデータセットの実験結果は、非対称損失関数が最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2021-06-06T12:52:48Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning [59.65752299209042]
  このようなシナリオ下でのConvNetの学習について検討する。 私たちは、ConvNetがマイナーなクラスにかなり適合していることに気づきました。 クラス依存型温度トレーニング(CDT)のConvNetの導入を提案する。
  論文  参考訳（メタデータ） (2020-01-06T03:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。