論文の概要: Robust Loss Functions for Training Decision Trees with Noisy Labels

• arxiv url: http://arxiv.org/abs/2312.12937v2
• Date: Tue, 23 Jan 2024 04:10:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 18:29:14.680133
• Title: Robust Loss Functions for Training Decision Trees with Noisy Labels
• Title（参考訳）: 雑音ラベルを用いた決定木学習におけるロバスト損失関数
• Authors: Jonathan Wilton, Nan Ye
• Abstract要約: 我々は、頑健な学習アルゴリズムに繋がる損失関数に着目し、ノイズの多いラベル付きデータを用いて決定木を訓練することを検討する。 まず、決定木学習の文脈において、既存の損失関数のロバスト性に関する新しい理論的知見を提供する。 第2に,分散損失と呼ばれるロバストな損失関数を構築するためのフレームワークを導入する。
• 参考スコア（独自算出の注目度）: 4.795403008763752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider training decision trees using noisily labeled data, focusing on loss functions that can lead to robust learning algorithms. Our contributions are threefold. First, we offer novel theoretical insights on the robustness of many existing loss functions in the context of decision tree learning. We show that some of the losses belong to a class of what we call conservative losses, and the conservative losses lead to an early stopping behavior during training and noise-tolerant predictions during testing. Second, we introduce a framework for constructing robust loss functions, called distribution losses. These losses apply percentile-based penalties based on an assumed margin distribution, and they naturally allow adapting to different noise rates via a robustness parameter. In particular, we introduce a new loss called the negative exponential loss, which leads to an efficient greedy impurity-reduction learning algorithm. Lastly, our experiments on multiple datasets and noise settings validate our theoretical insight and the effectiveness of our adaptive negative exponential loss.
• Abstract（参考訳）: 我々は,頑健な学習アルゴリズムにつながる損失関数に着目し,能動的ラベル付きデータを用いた意思決定木を訓練する。 私たちの貢献は3倍です。 まず,決定木学習の文脈における既存損失関数の頑健性に関する新しい理論的知見を提供する。 いくつかの損失は、保守的損失と呼ばれるクラスに属しており、保守的損失は、トレーニング中の早期停止行動と、テスト中のノイズ耐性予測に繋がることを示している。 第2に,分散損失と呼ばれるロバスト損失関数を構築するためのフレームワークを提案する。 これらの損失は、仮定マージン分布に基づくパーセンタイルに基づくペナルティを適用し、ロバスト性パラメータによる異なるノイズ率への適応を可能にする。 特に, 負指数損失と呼ばれる新たな損失を導入することで, 効率のよい不純物還元学習アルゴリズムを実現する。 最後に、複数のデータセットとノイズ設定に関する実験により、我々の理論的洞察と適応的負指数損失の有効性を検証した。

関連論文リスト

• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• Noise-Robust Loss Functions: Enhancing Bounded Losses for Large-Scale Noisy Data Learning [0.0]
  大きな注釈付きデータセットには、必然的にノイズのあるラベルが含まれており、ラベルを覚えやすいようにディープニューラルネットワークをトレーニングする上で大きな課題となる。 ノイズ・ロバスト損失関数はこの問題に対処するための重要な戦略として現れてきたが、過度に適合しないロバスト損失関数を作成することは依然として困難である。 本稿では,ロジットバイアス(logit bias)と表される新しい手法を提案し,ロジットに正しいクラスの位置で実数$epsilon$を付加する。
  論文  参考訳（メタデータ） (2023-06-08T18:38:55Z)
• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• The Fisher-Rao Loss for Learning under Label Noise [9.238700679836855]
  離散分布の統計多様体におけるフィッシャー・ラオ距離から生じるフィッシャー・ラオ損失関数について検討する。 ラベルノイズの存在下での性能劣化の上限を導出し,この損失の学習速度を解析する。
  論文  参考訳（メタデータ） (2022-10-28T20:50:10Z)
• Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
  半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。 近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。 これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
  論文  参考訳（メタデータ） (2022-02-14T15:18:00Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• Asymmetric Loss Functions for Learning with Noisy Labels [82.50250230688388]
  そこで本研究では,様々なノイズに対する雑音ラベルによる学習に頑健な,新しい損失関数,すなわちテクスティタ対称損失関数を提案する。 ベンチマークデータセットの実験結果は、非対称損失関数が最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2021-06-06T12:52:48Z)
• Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
  テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。 その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
  論文  参考訳（メタデータ） (2021-02-27T15:27:22Z)
• Risk Bounds for Robust Deep Learning [1.52292571922932]
  ある種の損失関数は、データの欠陥に対してディープラーニングパイプラインを堅牢にすることができる。 特に,非有界リプシッツ連続損失関数,例えば最小絶対偏差損失,フーバー損失,コーシー損失,トゥキーの双重損失などの経験的リスク最小化は,データに対する最小の仮定の下で効率的に予測できることを示す。
  論文  参考訳（メタデータ） (2020-09-14T05:06:59Z)
• Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
  ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。 この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
  論文  参考訳（メタデータ） (2020-02-16T09:12:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。