論文の概要: Supervised Contrastive Learning with TPE-based Bayesian Optimization of
Tabular Data for Imbalanced Learning
- arxiv url: http://arxiv.org/abs/2210.10824v1
- Date: Wed, 19 Oct 2022 18:15:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 15:26:50.902452
- Title: Supervised Contrastive Learning with TPE-based Bayesian Optimization of
Tabular Data for Imbalanced Learning
- Title（参考訳）: 不均衡学習のための表データのベイズ最適化による教師付きコントラスト学習
- Authors: Shuting Tao, Peng Peng, Hongwei Wang
- Abstract要約: 不均衡データセットに対する木構造パーゼン推定器(TPE)に基づくベイズ最適化手法を用いたSCL(Supervised Contrastive Learning)手法を提案する。
提案したSCL-TPE法は,最先端の手法と比較して大幅に改良された性能を実現する。
- 参考スコア（独自算出の注目度）: 5.429128081621714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Class imbalance has a detrimental effect on the predictive performance of
most supervised learning algorithms as the imbalanced distribution can lead to
a bias preferring the majority class. To solve this problem, we propose a
Supervised Contrastive Learning (SCL) method with Bayesian optimization
technique based on Tree-structured Parzen Estimator (TPE) for imbalanced
tabular datasets. Compared with supervised learning, contrastive learning can
avoid "label bias" by extracting the information hidden in data. Based on
contrastive loss, SCL can exploit the label information to address insufficient
data augmentation of tabular data, and is thus used in the proposed SCL-TPE
method to learn a discriminative representation of data. Additionally, as the
hyper-parameter temperature has a decisive influence on the SCL performance and
is difficult to tune, TPE-based Bayesian optimization is introduced to
automatically select the best temperature. Experiments are conducted on both
binary and multi-class imbalanced tabular datasets. As shown in the results
obtained, TPE outperforms other hyper-parameter optimization (HPO) methods such
as grid search, random search, and genetic algorithm. More importantly, the
proposed SCL-TPE method achieves much-improved performance compared with the
state-of-the-art methods.
- Abstract（参考訳）: クラス不均衡は、ほとんどの教師付き学習アルゴリズムの予測性能に有害な影響を及ぼす。
そこで本研究では,木構造パルゼン推定器(tpe)に基づくベイズ最適化手法を用いた教師付きコントラスト学習(scl)手法を提案する。
教師付き学習と比較して、コントラスト学習はデータに隠された情報を抽出することで「ラベルバイアス」を避けることができる。
対照的な損失に基づいて、SCLはラベル情報を利用して表データの不十分なデータ拡張に対処し、提案したSCL-TPE法でデータの識別表現を学習する。
さらに、超パラメータ温度がSCL性能に決定的な影響を及ぼし、チューニングが難しいため、TPEベースのベイズ最適化を導入して最適な温度を自動的に選択する。
二分法と多クラス不均衡グラフデータセットで実験を行った。
その結果、TPEはグリッド探索、ランダム探索、遺伝的アルゴリズムなどの他の超パラメータ最適化(HPO)手法よりも優れていた。
さらに,SCL-TPE法は最先端の手法と比較して改良された性能を実現する。
関連論文リスト
- Mitigating Training Imbalance in LLM Fine-Tuning via Selective Parameter Merging [11.223074654129915]
大型言語モデル(LLM)を特定のタスクに適応させるためには、SFT(Supervised Fine-tuning)が不可欠である。
本稿では,SFTモデルとデータ順序の微調整を併用することにより,この不均衡を軽減することを提案する。
論文 参考訳（メタデータ） (2024-10-01T08:44:31Z) - Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。
エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。
また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
論文 参考訳（メタデータ） (2024-07-09T08:14:29Z) - A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。
Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。
本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:49:37Z) - Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。
ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。
そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
論文 参考訳（メタデータ） (2024-03-10T09:46:28Z) - Class Prior-Free Positive-Unlabeled Learning with Taylor Variational
Loss for Hyperspectral Remote Sensing Imagery [12.54504113062557]
高スペクトルリモートセンシング画像(HSI)における正非ラベル学習(PU学習)は、正および未ラベルのデータから二値分類器を学習することを目的としている。
本稿では,HSI PU学習におけるテイラー変分損失を提案する。
7つのベンチマークデータセット(合計21タスク)の実験により,提案手法の有効性が検証された。
論文 参考訳（メタデータ） (2023-08-29T07:29:30Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳（メタデータ） (2022-12-14T07:35:20Z) - Pseudo-Spherical Contrastive Divergence [119.28384561517292]
エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。
PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
論文 参考訳（メタデータ） (2021-11-01T09:17:15Z) - Fine-Grained Adversarial Semi-supervised Learning [25.36956660025102]
FGVC(Fen-Grained Visual Categorization)の性能向上のために、SSL(Semi-Supervised Learning)を活用してトレーニングデータの量を増やす。
6つの最先端の細粒度データセットに対して実験を行うことにより、組み合わせた使用の有効性を実証する。
論文 参考訳（メタデータ） (2021-10-12T09:24:22Z) - Improving Robustness and Efficiency in Active Learning with Contrastive
Loss [13.994967246046008]
本稿では,教師付き環境下での能動学習に比較学習の損失を生かして,教師付きコントラッシブ・アクティブ・ラーニング(SCAL)を提案する。
多様な特徴表現の偏りのない情報的データサンプルを選択するために,能動的学習における効率的なクエリ戦略を提案する。
論文 参考訳（メタデータ） (2021-09-13T21:09:21Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳（メタデータ） (2021-05-16T09:13:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。