論文の概要: EnsLoss: Stochastic Calibrated Loss Ensembles for Preventing Overfitting in Classification

• arxiv url: http://arxiv.org/abs/2409.00908v2
• Date: Wed, 4 Sep 2024 03:26:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 08:30:49.472759
• Title: EnsLoss: Stochastic Calibrated Loss Ensembles for Preventing Overfitting in Classification
• Title（参考訳）: EnsLoss: 分類におけるオーバーフィッティング防止のための確率的校正損失アンサンブル
• Authors: Ben Dai,
• Abstract要約: 経験的リスク最小化フレームワーク内で損失関数を結合する新しいアンサンブル手法,すなわちEnsLossを提案する。 まず、損失のCC条件を損失導関数に変換し、明示的な損失関数の必要性を回避した。 理論的には、我々のアプローチの統計的一貫性を確立し、その利点に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 1.3778851745408134
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Empirical risk minimization (ERM) with a computationally feasible surrogate loss is a widely accepted approach for classification. Notably, the convexity and calibration (CC) properties of a loss function ensure consistency of ERM in maximizing accuracy, thereby offering a wide range of options for surrogate losses. In this article, we propose a novel ensemble method, namely EnsLoss, which extends the ensemble learning concept to combine loss functions within the ERM framework. A key feature of our method is the consideration on preserving the "legitimacy" of the combined losses, i.e., ensuring the CC properties. Specifically, we first transform the CC conditions of losses into loss-derivatives, thereby bypassing the need for explicit loss functions and directly generating calibrated loss-derivatives. Therefore, inspired by Dropout, EnsLoss enables loss ensembles through one training process with doubly stochastic gradient descent (i.e., random batch samples and random calibrated loss-derivatives). We theoretically establish the statistical consistency of our approach and provide insights into its benefits. The numerical effectiveness of EnsLoss compared to fixed loss methods is demonstrated through experiments on a broad range of 14 OpenML tabular datasets and 46 image datasets with various deep learning architectures. Python repository and source code are available on GitHub at https://github.com/statmlben/ensloss.
• Abstract（参考訳）: 計算可能なサロゲート損失を持つ経験的リスク最小化(ERM)は、分類において広く受け入れられているアプローチである。 特に、損失関数の凸度とキャリブレーション(CC)特性は、ERMの整合性を確保して精度を最大化し、サロゲート損失に対する幅広い選択肢を提供する。 本稿では,ERMフレームワーク内の損失関数を組み合わせるために,アンサンブル学習の概念を拡張した新しいアンサンブル手法,すなわちEnsLossを提案する。 本手法の重要な特徴は, 複合損失の「正当性」, すなわち, CC特性の確保に関する考察である。 具体的には、まず損失のCC条件を損失導関数に変換し、明示的な損失関数の必要性を回避し、キャリブレーションされた損失導関数を直接生成する。 従って、DropoutにインスパイアされたEnsLossは、2倍の確率勾配勾配(ランダムバッチサンプルとランダムキャリブレーションされた損失導関数)を持つ1つのトレーニングプロセスを通じて損失アンサンブルを可能にする。 理論的には、我々のアプローチの統計的一貫性を確立し、その利点に関する洞察を提供する。 固定損失法と比較して,EnsLossの数値的有効性は,様々なディープラーニングアーキテクチャを持つ14のOpenML表グラフデータセットと46のイメージデータセットの実験により実証された。 PythonリポジトリとソースコードはGitHubでhttps://github.com/statmlben/ensloss.comから入手できる。

関連論文リスト

• A Unified Contrastive Loss for Self-Training [3.3454373538792552]
  自己学習法は、半教師あり学習において、豊富なラベルのないデータを利用するのに有効であることが証明されている。 本稿では,CE損失の全ての事例を一意の対照的な損失に置き換える,自己学習手法を強化するための一般的な枠組みを提案する。 私たちのフレームワークは,ラベル付きデータに制限のある3つのデータセットに対して,大幅なパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2024-09-11T14:22:41Z)
• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• Mitigating Privacy Risk in Membership Inference by Convex-Concave Loss [16.399746814823025]
  機械学習モデルは、トレーニングセットにサンプルがあるかどうかを推測することを目的とした、メンバシップ推論攻撃(MIA)の影響を受けやすい。 既存の作業では、勾配上昇を利用してトレーニングデータの損失分散を拡大し、プライバシリスクを軽減する。 本稿では,勾配降下によるトレーニング損失分布の分散化を可能にする新しい手法であるConvex-Concave Lossを提案する。
  論文  参考訳（メタデータ） (2024-02-08T07:14:17Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)
• Ensemble of Loss Functions to Improve Generalizability of Deep Metric Learning methods [0.609170287691728]
  本稿では,共有機能抽出器上に構築された異なる損失を結合する新しい手法を提案する。 我々は,従来のゼロショットラーニング(ZSL)設定において,マシンビジョン領域から一般的なデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2021-07-02T15:19:46Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
  平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。 我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2021-01-05T06:25:47Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• All your loss are belong to Bayes [28.393499629583786]
  ロス関数は機械学習の基盤であり、ほとんどのアルゴリズムの出発点である。 正方形ガウス過程を用いて経路が整合なソース関数を持つランダムな過程を求める。 実験の結果は、最先端技術よりも大幅に改善された。
  論文  参考訳（メタデータ） (2020-06-08T14:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。