論文の概要: HawkEye: Advancing Robust Regression with Bounded, Smooth, and Insensitive Loss Function

• arxiv url: http://arxiv.org/abs/2401.16785v2
• Date: Thu, 15 Feb 2024 12:46:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 23:23:11.910274
• Title: HawkEye: Advancing Robust Regression with Bounded, Smooth, and Insensitive Loss Function
• Title（参考訳）: HawkEye: バウンド、スムーズ、インセンティブロス機能によるロバスト回帰の改善
• Authors: Mushir Akhtar, M. Tanveer, and Mohd. Arshad
• Abstract要約: 我々は,HawkeEye損失関数という新しい対称損失関数を導入する。 これは、SVR文学における最初の損失関数であり、バウンドされ、滑らかで、同時に非感性ゾーンを持つ。 我々はHE-LSSVRと呼ばれる新しい高速で堅牢なモデルを得る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Support vector regression (SVR) has garnered significant popularity over the past two decades owing to its wide range of applications across various fields. Despite its versatility, SVR encounters challenges when confronted with outliers and noise, primarily due to the use of the $\varepsilon$-insensitive loss function. To address this limitation, SVR with bounded loss functions has emerged as an appealing alternative, offering enhanced generalization performance and robustness. Notably, recent developments focus on designing bounded loss functions with smooth characteristics, facilitating the adoption of gradient-based optimization algorithms. However, it's crucial to highlight that these bounded and smooth loss functions do not possess an insensitive zone. In this paper, we address the aforementioned constraints by introducing a novel symmetric loss function named the HawkEye loss function. It is worth noting that the HawkEye loss function stands out as the first loss function in SVR literature to be bounded, smooth, and simultaneously possess an insensitive zone. Leveraging this breakthrough, we integrate the HawkEye loss function into the least squares framework of SVR and yield a new fast and robust model termed HE-LSSVR. The optimization problem inherent to HE-LSSVR is addressed by harnessing the adaptive moment estimation (Adam) algorithm, known for its adaptive learning rate and efficacy in handling large-scale problems. To our knowledge, this is the first time Adam has been employed to solve an SVR problem. To empirically validate the proposed HE-LSSVR model, we evaluate it on UCI, synthetic, and time series datasets. The experimental outcomes unequivocally reveal the superiority of the HE-LSSVR model both in terms of its remarkable generalization performance and its efficiency in training time.
• Abstract（参考訳）: サポートベクター回帰(SVR)は、様々な分野にまたがる幅広い応用のために、過去20年間で大きな人気を集めてきた。 その汎用性にもかかわらず、SVRは、主に$\varepsilon$-insensitive loss関数を使用するために、外れ値とノイズに直面した時に課題に直面する。 この制限に対処するために、有界損失関数を持つsvrが魅力的な代替として登場し、一般化性能と堅牢性が向上した。 特に近年の進歩は、スムーズな特性を持つ有界損失関数の設計に焦点が当てられ、勾配に基づく最適化アルゴリズムが採用されている。 しかし、これらの有界かつ滑らかな損失関数は無感ゾーンを持たないことを強調することが重要である。 本稿では,HawkeEye損失関数という新しい対称損失関数を導入することで,上記の制約に対処する。 なお、HawkeEye損失関数は、SVR文学における最初の損失関数として有界かつ滑らかで同時に非感性ゾーンを持つものとして注目に値する。 このブレークスルーを活用して、HawkEye損失関数をSVRの最小2乗フレームワークに統合し、HE-LSSVRと呼ばれる新しい高速で堅牢なモデルを得る。 HE-LSSVRに固有の最適化問題は、適応的学習率と大規模問題処理の有効性で知られている適応的モーメント推定(Adam)アルゴリズムを活用することで解決される。 私たちの知る限り、Adam氏がSVR問題を解決するために雇われたのはこれが初めてです。 提案したHE-LSSVRモデルを実験的に評価するために,UCI,合成,時系列データセットを用いて評価を行った。 実験結果から, HE-LSSVRモデルの卓越した一般化性能と学習時間における効率性の両方が明らかとなった。

関連論文リスト

• Advancing RVFL networks: Robust classification with the HawkEye loss function [0.0]
  本稿では,Randomベクトル関数リンク(RVFL)フレームワークにHawkeEye損失(H-loss)関数を組み込むことを提案する。 H-loss関数は、滑らかさと有界性を含む優れた数学的特性を特徴とし、同時に非感性ゾーンを組み込む。 提案したH-RVFLモデルの有効性は、UCIおよびKEELレポジトリから40ドルのデータセットで実験することで検証される。
  論文  参考訳（メタデータ） (2024-10-01T08:48:05Z)
• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• Advancing Supervised Learning with the Wave Loss Function: A Robust and Smooth Approach [0.0]
  本稿では,非対称な損失関数であるウェーブロスという,教師あり機械学習の領域への新たな貢献について述べる。 提案したウェーブロス関数を,サポートベクトルマシン (SVM) とツインサポートベクトルマシン (TSVM) の最小2乗設定に組み込む。 提案する Wave-SVM と Wave-TSVM の有効性を実証的に示すため,UCI と KEEL のベンチマークを用いて評価を行った。
  論文  参考訳（メタデータ） (2024-04-28T07:32:00Z)
• Posterior Sampling with Delayed Feedback for Reinforcement Learning with Linear Function Approximation [62.969796245827006]
  Delayed-PSVI は楽観的な値に基づくアルゴリズムであり、後続サンプリングによる雑音摂動により値関数空間を探索する。 我々のアルゴリズムは、未知の遅延が存在する場合に、$widetildeO(sqrtd3H3 T + d2H2 E[tau]$最悪の後悔を実現する。 遅延LPSVIのための勾配に基づく近似サンプリングスキームをLangevin動的に組み込んだ。
  論文  参考訳（メタデータ） (2023-10-29T06:12:43Z)
• On User-Level Private Convex Optimization [59.75368670035683]
  ユーザレベルの差分プライバシー保証を伴う凸最適化(SCO)のための新しいメカニズムを提案する。 我々のメカニズムは損失に対する滑らかさの仮定を必要としない。 私たちの限界は、ユーザレベルのプライバシーに必要な最小限のユーザが、その次元に依存しない、最初のものです。
  論文  参考訳（メタデータ） (2023-05-08T17:47:28Z)
• META-STORM: Generalized Fully-Adaptive Variance Reduced SGD for Unbounded Functions [23.746620619512573]
  最近の研究は「メガバッチ」の勾配を計算する効果を克服している 作業は、競争力のあるディープラーニングタスクで更新された後に広く使用される。
  論文  参考訳（メタデータ） (2022-09-29T15:12:54Z)
• STIP: A SpatioTemporal Information-Preserving and Perception-Augmented Model for High-Resolution Video Prediction [78.129039340528]
  本稿では、上記の2つの問題を解決するために、時空間情報保存・知覚拡張モデル(STIP)を提案する。 提案モデルは,特徴抽出と状態遷移中の映像の時間的情報を保存することを目的としている。 実験結果から,提案したSTIPは,様々な最先端手法と比較して,より良好な映像品質で映像を予測できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-09T09:49:04Z)
• Reducing Predictive Feature Suppression in Resource-Constrained Contrastive Image-Caption Retrieval [65.33981533521207]
  我々は、リソース制約のあるICR手法における予測的特徴抑圧を減らすアプローチを提案する:潜在目標デコーディング(LTD) LTDは、汎用文エンコーダの潜時空間で入力キャプションを再構成し、画像及びキャプションエンコーダが予測的特徴を抑制するのを防止する。 実験の結果,入力空間における入力キャプションの再構成とは異なり,LTDはリコール@k,r精度,nDCGスコアを高くすることで,予測的特徴抑制を低減できることがわかった。
  論文  参考訳（メタデータ） (2022-04-28T09:55:28Z)
• HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging [138.04956118993934]
  HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。 一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。 一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
  論文  参考訳（メタデータ） (2022-03-04T06:37:45Z)
• Quantum-Assisted Support Vector Regression for Detecting Facial Landmarks [0.0]
  我々は、2つのSVRモデルをトレーニングするためのアルゴリズム、すなわちシミュレートと量子古典ハイブリッドを考案した。 我々は,PythonのScikit-LernパッケージのSVR実装と比較した。 我々の研究は、量子支援型SVRを教師付き学習タスクに適用するための概念実証の例である。
  論文  参考訳（メタデータ） (2021-11-17T18:57:10Z)
• Non-asymptotic estimates for TUSLA algorithm for non-convex learning with applications to neural networks with ReLU activation function [3.5044892799305956]
  Lovas et alで導入された未調整Langevinアルゴリズム(TUSLA)の非漸近解析を行う。 特に、Wassersteinstein-1-2におけるTUSLAアルゴリズムの非漸近誤差境界を確立する。 TUSLAアルゴリズムは最適解に急速に収束することを示す。
  論文  参考訳（メタデータ） (2021-07-19T07:13:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。