Fugu-MT 論文翻訳(概要): CAST: Cluster-Aware Self-Training for Tabular Data via Reliable Confidence

論文の概要: CAST: Cluster-Aware Self-Training for Tabular Data via Reliable Confidence

arxiv url: http://arxiv.org/abs/2310.06380v3
Date: Thu, 29 Aug 2024 05:59:24 GMT
ステータス: 処理完了
システム内更新日: 2024-08-30 19:38:30.299006
Title: CAST: Cluster-Aware Self-Training for Tabular Data via Reliable Confidence
Title（参考訳）: CAST: 信頼性によるタブラルデータに対するクラスタ対応の自己評価
Authors: Minwook Kim, Juseong Kim, Ki Beom Kim, Giltae Song,
Abstract要約: 自己学習は、誤った自信によって引き起こされるノイズの多い擬似ラベルに対して脆弱である。 CAST(Cluster-Aware Self-Training)は、既存の自己学習アルゴリズムを無視可能なコストで強化する。
参考スコア（独自算出の注目度）: 0.4999814847776098
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Tabular data is one of the most widely used data modalities, encompassing numerous datasets with substantial amounts of unlabeled data. Despite this prevalence, there is a notable lack of simple and versatile methods for utilizing unlabeled data in the tabular domain, where both gradient-boosting decision trees and neural networks are employed. In this context, self-training has gained attraction due to its simplicity and versatility, yet it is vulnerable to noisy pseudo-labels caused by erroneous confidence. Several solutions have been proposed to handle this problem, but they often compromise the inherent advantages of self-training, resulting in limited applicability in the tabular domain. To address this issue, we explore a novel direction of reliable confidence in self-training contexts and conclude that self-training can be improved by making that the confidence, which represents the value of the pseudo-label, aligns with the cluster assumption. In this regard, we propose Cluster-Aware Self-Training (CAST) for tabular data, which enhances existing self-training algorithms at a negligible cost while maintaining simplicity and versatility. Concretely, CAST calibrates confidence by regularizing the classifier's confidence based on local density for each class in the labeled training data, resulting in lower confidence for pseudo-labels in low-density regions. Extensive empirical evaluations on up to 21 real-world datasets confirm not only the superior performance of CAST but also its robustness in various setups in self-training contexts.
Abstract（参考訳）: タブラルデータは最も広く使われているデータモダリティの1つであり、大量のラベルなしデータを含む多数のデータセットを含んでいる。このような傾向にもかかわらず、グラフ領域でラベルのないデータを利用するための単純で汎用的な手法が欠如しており、勾配決定木とニューラルネットワークの両方が使われている。この文脈では、単純さと汎用性から自己学習が注目されているが、誤った自信によって引き起こされる偽のラベルに弱い。この問題に対処するためにいくつかの解が提案されているが、それらはしばしば自己学習の固有の利点を損なうため、表領域では適用性に制限がある。この問題に対処するために,我々は,自己学習の文脈における信頼感の新たな方向性を探求し,疑似ラベルの値を表す信頼度がクラスタの仮定に一致するようにすることで,自己学習を改善することができると結論づける。そこで本研究では,既存の自己学習アルゴリズムを簡易性と汎用性を維持しつつ,無視できるコストで拡張する,表型データのためのクラスタアウェア自己学習(CAST)を提案する。具体的には、ラベル付きトレーニングデータにおいて、各クラス毎の局所密度に基づいて分類器の信頼度を正則化し、低密度領域における擬似ラベルに対する信頼度を低下させることにより、CASTは信頼性を校正する。最大21の実世界のデータセットに対する大規模な実験的評価は、CASTの優れた性能だけでなく、自己学習コンテキストにおける様々な設定における堅牢性も確認する。

関連論文リスト

CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
論文参考訳（メタデータ） (2024-07-02T15:05:19Z)
Incremental Self-training for Semi-supervised Learning [56.57057576885672]
ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
論文参考訳（メタデータ） (2024-04-14T05:02:00Z)
Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文参考訳（メタデータ） (2023-10-09T11:44:50Z)
A Confidence-based Partial Label Learning Model for Crowd-Annotated Named Entity Recognition [74.79785063365289]
名前付きエンティティ認識(NER)のための既存のモデルは、主に大規模ラベル付きデータセットに基づいている。我々は,クラウドアノテートNERに対する先行信頼度(アノテータによる提案)と後続信頼度(モデルによる学習)を統合するために,信頼に基づく部分ラベル学習(CPLL)手法を提案する。
論文参考訳（メタデータ） (2023-05-21T15:31:23Z)
Revisiting Self-Training with Regularized Pseudo-Labeling for Tabular Data [0.0]
我々は、勾配向上決定木を含むあらゆる種類のアルゴリズムに適用可能な自己学習を再考する。疑似ラベルの可能性に基づいて信頼度を正則化する新しい擬似ラベル手法を提案する。
論文参考訳（メタデータ） (2023-02-27T18:12:56Z)
Uncertainty-aware Self-training for Low-resource Neural Sequence Labeling [29.744621356187764]
本稿では,ニューラルシークエンスラベリング(NSL)のための新しい未知の自己学習フレームワークSeqUSTを提案する。ベイジアンニューラルネットワーク(BNN)にモンテカルロ(MC)ドロップアウトを組み込んでトークンレベルで不確実性評価を行い、ラベルのないデータから信頼性の高い言語トークンを選択する。ノイズロスのあるマスク付きシークエンスラベリングタスクは、ノイズのある擬似ラベルの問題を抑えることを目的とした堅牢なトレーニングを支援する。
論文参考訳（メタデータ） (2023-02-17T02:40:04Z)
Confident Sinkhorn Allocation for Pseudo-Labeling [40.883130133661304]
半教師付き学習は、ラベル付きデータへの機械学習の依存を減らす重要なツールである。本稿では,疑似ラベル作成における不確実性の役割を理論的に研究し,CSA(Confident Sinkhorn Allocation)を提案する。 CSAは、信頼度の高いサンプルのみへの最適な輸送を通して、最高の擬似ラベル割り当てを特定する。
論文参考訳（メタデータ） (2022-06-13T02:16:26Z)
Semi-Supervised Learning of Semantic Correspondence with Pseudo-Labels [26.542718087103665]
SemiMatchは意味論的に類似した画像間の密接な対応を確立するための半教師付きソリューションである。筆者らのフレームワークは,ソースと弱増強ターゲット間のモデル予測自体を用いて擬似ラベルを生成し,擬似ラベルを用いてソースと強増強ターゲット間のモデルの再学習を行う。実験では、SemiMatchは様々なベンチマーク、特にPF-Willowにおける最先端のパフォーマンスを大きなマージンで達成している。
論文参考訳（メタデータ） (2022-03-30T03:52:50Z)
Cycle Self-Training for Domain Adaptation [85.14659717421533]
Cycle Self-Training (CST) は、ドメイン間の一般化に擬似ラベルを強制する、原則付き自己学習アルゴリズムである。 CSTは目標の真理を回復し、不変の機能学習とバニラ自己訓練の両方が失敗する。実験結果から,標準的なUDAベンチマークでは,CSTは先行技術よりも大幅に改善されていることが示唆された。
論文参考訳（メタデータ） (2021-03-05T10:04:25Z)
Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
論文参考訳（メタデータ） (2021-02-25T14:56:19Z)
ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文参考訳（メタデータ） (2021-01-02T09:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。