論文の概要: Robust-GBDT: A Novel Gradient Boosting Model for Noise-Robust
Classification
- arxiv url: http://arxiv.org/abs/2310.05067v1
- Date: Sun, 8 Oct 2023 08:28:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 12:57:30.716960
- Title: Robust-GBDT: A Novel Gradient Boosting Model for Noise-Robust
Classification
- Title(参考訳): Robust-GBDT:ノイズ・ロバスト分類のための新しい勾配ブースティングモデル
- Authors: Jiaqi Luo, Yuedong Quan, Shixin Xu
- Abstract要約: 我々は、ロバストGBDTと呼ばれる新しいノイズロストブースティングモデルを導入し、堅牢な損失を伴う高度なGBDTフレームワークをシームレスに統合する。
また,クラス不均衡に対処するために,ロバスト・フォカル・ロスという新しいロバスト・ロス関数を導入する。
その結果、Robust-GBDTはより正確な予測を生成し、その能力を大幅に向上させた。
- 参考スコア(独自算出の注目度): 0.46040036610482665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robust boosting algorithms have emerged as alternative solutions to
traditional boosting techniques for addressing label noise in classification
tasks. However, these methods have predominantly focused on binary
classification, limiting their applicability to multi-class tasks. Furthermore,
they encounter challenges with imbalanced datasets, missing values, and
computational efficiency. In this paper, we establish that the loss function
employed in advanced Gradient Boosting Decision Trees (GBDT), particularly
Newton's method-based GBDT, need not necessarily exhibit global convexity.
Instead, the loss function only requires convexity within a specific region.
Consequently, these GBDT models can leverage the benefits of nonconvex robust
loss functions, making them resilient to noise. Building upon this theoretical
insight, we introduce a new noise-robust boosting model called Robust-GBDT,
which seamlessly integrates the advanced GBDT framework with robust losses.
Additionally, we enhance the existing robust loss functions and introduce a
novel robust loss function, Robust Focal Loss, designed to address class
imbalance. As a result, Robust-GBDT generates more accurate predictions,
significantly enhancing its generalization capabilities, especially in
scenarios marked by label noise and class imbalance. Furthermore, Robust-GBDT
is user-friendly and can easily integrate existing open-source code, enabling
it to effectively handle complex datasets while improving computational
efficiency. Numerous experiments confirm the superiority of Robust-GBDT over
other noise-robust methods.
- Abstract(参考訳): ロバストブースティングアルゴリズムは、分類タスクにおけるラベルノイズに対処する従来のブースティング手法の代替ソリューションとして登場した。
しかし、これらの手法は主にバイナリ分類に重点を置いており、多クラスタスクに適用性を制限する。
さらに、不均衡なデータセット、欠落した値、計算効率といった課題に直面している。
本稿では,先進的なグラディエントブースティング決定木(GBDT)における損失関数,特にニュートン法に基づくGBDTが必ずしもグローバルな凸性を示す必要はないことを確かめる。
代わりに、損失関数は特定の領域内の凸性のみを必要とする。
したがって、これらのGBDTモデルは、非凸ロバスト損失関数の利点を活用でき、ノイズに耐性がある。
この理論的知見に基づいて、ロバストGBDTと呼ばれる新しいノイズロストブースティングモデルを導入し、堅牢な損失を伴う高度なGBDTフレームワークをシームレスに統合する。
さらに,既存のロバスト損失関数を拡張し,クラス不均衡に対処するために設計された新しいロバスト損失関数ロバスト焦点損失を導入する。
結果として、Robust-GBDTはより正確な予測を生成し、特にラベルノイズとクラス不均衡を特徴とするシナリオにおいて、その一般化能力を大幅に向上する。
さらに、Robust-GBDTはユーザフレンドリで、既存のオープンソースコードを容易に統合でき、計算効率を改善しながら複雑なデータセットを効果的に処理できる。
多くの実験により、ロバストGBDTは他のノイズローバスト法よりも優れていることが確認された。
関連論文リスト
- Sparse is Enough in Fine-tuning Pre-trained Large Language Model [105.63770797908127]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳(メタデータ) (2023-12-19T06:06:30Z) - Stable Unlearnable Example: Enhancing the Robustness of Unlearnable
Examples via Stable Error-Minimizing Noise [31.586389548657205]
データにある種の知覚不能ノイズを加えることにより、モデルの一般化性能を著しく低下させる非学習不可能な例を提案する。
本稿では,時間を要する対向的摂動ではなく,ランダムな摂動に対する防御音を訓練する安定型誤り最小化ノイズ(SEM)を導入する。
SEMは、CIFAR-10、CIFAR-100、ImageNet Subset上で、最先端の新たなパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-11-22T01:43:57Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient
Kernels [60.35011738807833]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は、ベンチマークODEとPDE発見タスクのリストにおいて、KBASSの顕著な利点を示す。
論文 参考訳(メタデータ) (2023-10-09T03:55:09Z) - Reevaluating Loss Functions: Enhancing Robustness to Label Noise in Deep
Learning Models [0.0]
大きな注釈付きデータセットには、必然的に誤ったラベルが含まれているため、ディープニューラルネットワークのトレーニングには大きな課題となる。
ノイズロバストモデルを作成するための単純で効果的な方法は、ノイズロバスト損失関数を使用することである。
提案する損失関数が適用可能な状況について検討し,適切な損失を選択する方法について提案する。
これは、有界損失の学習を著しく改善するだけでなく、Cifar-100データセットにおけるクロスエントロピー損失よりも優れた平均絶対誤差の損失をもたらす。
論文 参考訳(メタデータ) (2023-06-08T18:38:55Z) - High-level Feature Guided Decoding for Semantic Segmentation [54.424062794490254]
そこで本稿では,アップサンプラーが頑健な結果を得るためのガイダンス(HFG)として,強力な事前学習高レベル機能を提案する。
具体的には、バックボーンの高レベルな機能はクラストークンのトレーニングに使用され、クラストークンはクラス分類のためにアップサンプラーによって再利用される。
HFGの上限を押し上げるために、低解像度の高レベル特徴に対して効率よく効果的に操作できる文脈拡張エンコーダ(CAE)を導入する。
論文 参考訳(メタデータ) (2023-03-15T14:23:07Z) - Latent Class-Conditional Noise Model [54.56899309997246]
本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。
次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。
提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
論文 参考訳(メタデータ) (2023-02-19T15:24:37Z) - Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。
4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
論文 参考訳(メタデータ) (2023-01-18T04:54:58Z) - Robustness and reliability when training with noisy labels [12.688634089849023]
教師付き学習のためのデータの遅延は、コストと時間を要する可能性がある。
ディープニューラルネットワークは、ランダムラベルの適合、正規化、ロバストな損失関数の使用を証明している。
論文 参考訳(メタデータ) (2021-10-07T10:30:20Z) - Learning Adaptive Loss for Robust Learning with Noisy Labels [59.06189240645958]
ロバスト損失は、堅牢な学習問題を扱うための重要な戦略である。
本稿では,強靭なハイパーチューニングが可能なメタ学習手法を提案する。
4種類のSOTA損失関数は, 最小化, 一般利用, 有効性を示す。
論文 参考訳(メタデータ) (2020-02-16T00:53:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。