論文の概要: Training Over a Distribution of Hyperparameters for Enhanced Performance and Adaptability on Imbalanced Classification

• arxiv url: http://arxiv.org/abs/2410.03588v1
• Date: Fri, 4 Oct 2024 16:47:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 21:17:55.361252
• Title: Training Over a Distribution of Hyperparameters for Enhanced Performance and Adaptability on Imbalanced Classification
• Title（参考訳）: 不均衡分類における性能・適応性向上のためのハイパーパラメータ分布の学習
• Authors: Kelsey Lieberman, Swarna Kamlam Ravindran, Shuai Yuan, Carlo Tomasi,
• Abstract要約: 条件付き損失訓練(LCT)は、厳しい階級不均衡の下で信頼性の高い分類器の訓練に使用できる。 LCTはいくつかのモデルの性能を近似し、CIFARおよび実際の医用画像アプリケーションにおけるモデル全体の性能を改善する。
• 参考スコア（独自算出の注目度）: 3.06506506650274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although binary classification is a well-studied problem, training reliable classifiers under severe class imbalance remains a challenge. Recent techniques mitigate the ill effects of imbalance on training by modifying the loss functions or optimization methods. We observe that different hyperparameter values on these loss functions perform better at different recall values. We propose to exploit this fact by training one model over a distribution of hyperparameter values--instead of a single value--via Loss Conditional Training (LCT). Experiments show that training over a distribution of hyperparameters not only approximates the performance of several models but actually improves the overall performance of models on both CIFAR and real medical imaging applications, such as melanoma and diabetic retinopathy detection. Furthermore, training models with LCT is more efficient because some hyperparameter tuning can be conducted after training to meet individual needs without needing to retrain from scratch.
• Abstract（参考訳）: 二項分類はよく研究されている問題であるが、厳密なクラス不均衡の下での信頼性の高い分類器の訓練は依然として課題である。 最近の技術は、損失関数や最適化方法を変更することにより、トレーニングにおける不均衡の悪影響を軽減する。 これらの損失関数上の異なるハイパーパラメータ値が、異なるリコール値でよりよく機能することを示す。 我々は,この事実を,単一値の代わりにハイパーパラメータ値の分布を1つのモデルで学習し,LCT(Loss Conditional Training)を介して活用することを提案する。 実験により、ハイパーパラメータの分布に対するトレーニングは、いくつかのモデルのパフォーマンスを近似するだけでなく、CIFARおよびメラノーマや糖尿病網膜症検出などの実際の医療画像アプリケーションにおけるモデル全体のパフォーマンスを実際に改善することが示された。 さらに、LCTを用いたトレーニングモデルは、スクラッチから再トレーニングする必要なく、個々のニーズを満たすためにトレーニング後にいくつかのハイパーパラメータチューニングを行うことができるため、より効率的である。

関連論文リスト

• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Criticality Leveraged Adversarial Training (CLAT) for Boosted Performance via Parameter Efficiency [15.211462468655329]
  CLATは、パラメータ効率を敵のトレーニングプロセスに導入し、クリーンな精度と敵の堅牢性の両方を改善した。 既存の対数訓練法に応用でき、トレーニング可能なパラメータの数を約95%削減できる。
  論文  参考訳（メタデータ） (2024-08-19T17:58:03Z)
• Probing Perfection: The Relentless Art of Meddling for Pulmonary Airway Segmentation from HRCT via a Human-AI Collaboration Based Active Learning Method [13.384578466263566]
  肺気管分節症では, 注記データの不足が主訴である。 ディープラーニング(DL)メソッドは、'ブラックボックス'モデルの不透明さとパフォーマンス向上の必要性という課題に直面します。 多様なクエリ戦略とさまざまなDLモデルを組み合わせることで、これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-07-03T23:27:53Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Optimizing for ROC Curves on Class-Imbalanced Data by Training over a Family of Loss Functions [3.06506506650274]
  重度のクラス不均衡の下で信頼性の高い分類器を訓練することは、コンピュータビジョンにおいて難しい問題である。 近年の研究では、損失関数や最適化方法の変更により、不均衡下でのトレーニングの効果を緩和する手法が提案されている。 単一損失関数ではなく、損失関数の族に対するトレーニングを提案する。
  論文  参考訳（メタデータ） (2024-02-08T04:31:21Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• One-stop Training of Multiple Capacity Models [74.87789190840527]
  本稿では,高容量・低容量モデルとの共同学習のためのワンストップトレーニングフレームワークを提案する。 複数のキャパシティモデルをスクラッチから個別に訓練する知識蒸留とは異なり、我々の手法は異なるキャパシティモデルからの監督を同時に統合する。
  論文  参考訳（メタデータ） (2023-05-23T13:44:09Z)
• Density-Aware Personalized Training for Risk Prediction in Imbalanced Medical Data [89.79617468457393]
  不均衡率(クラス密度差)のトレーニングモデルは、最適以下の予測につながる可能性がある。 この不均衡問題に対するモデルトレーニングのためのフレームワークを提案する。 実世界の医療データセットにおけるモデルの性能向上を実証する。
  論文  参考訳（メタデータ） (2022-07-23T00:39:53Z)
• A Fast and Efficient Conditional Learning for Tunable Trade-Off between Accuracy and Robustness [11.35810118757863]
  クリーンかつ逆摂動画像上でのSOTA(State-of-the-art)性能を実現する既存のモデルは、FiLM(Feature-wise linear modulation)層を条件とした畳み込み操作に依存している。 既存のFiLMベースの条件付けの代わりに、付加層を必要としない独特な重み付き学習を行うFLOATアルゴリズムを提案する。 特に、重みテンソルにスケールドノイズを加え、クリーンな性能と対向的な性能のトレードオフを可能にする。
  論文  参考訳（メタデータ） (2022-03-28T19:25:36Z)
• FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
  本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。 サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-15T05:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。