論文の概要: When Does Self-Supervised Pretraining Help Tabular Models? A Study of Label Scarcity and Missing Data

• arxiv url: http://arxiv.org/abs/2608.24381v1
• Date: Tue, 25 Aug 2026 10:39:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.942611
• Title: When Does Self-Supervised Pretraining Help Tabular Models? A Study of Label Scarcity and Missing Data
• Title（参考訳）: 自己指導型プレトレーニングはタブラルモデルにいつ役立つか? : ラベルスカルシティと欠落データの検討
• Abstract要約: 自己教師付き学習(SSL)は、表データに対する有望なアプローチとして登場した。 14の分類課題において,スクラッチと古典的ベースラインからのトレーニングに対して,マスク・アンド・リカバーSSL事前トレーニングの目標を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has emerged as a promising approach for tabular data, yet its efficacy under extreme label scarcity and test-time missingness remains under-explored. In this paper, we evaluate a mask-and-recover SSL pretraining objective against training from scratch and classical baselines across 14 diverse classification tasks. First, while SSL outperforms training from scratch on average and remains competitive with state-of-the-art tree ensembles (achieving ~0.8954 AUC vs. Random Forest's 0.9015 at 10% labels), the SSL-vs-scratch gains exhibit high inter-task variance and lack significance (p = 0.626 at both 5% and 10% labels). Second, contrary to the hypothesis that missing-value imputation objectives universally benefit datasets with native missingness, SSL yields the most reliable improvements on clean datasets, while frequently degrading performance on datasets with high inherent missingness. Third, despite this training variance, SSL-pretrained models achieve a higher average AUC than scratch-trained models under both test-time missingness completely at random (MCAR) injection (+0.0245 AUC, positive on 11 of 14 tasks) and structured missingness shifts (MNAR, +0.0418 AUC, positive on 8 of 14 tasks), though neither difference remains statistically significant after Holm-Bonferroni correction for multiple comparisons (adjusted p = 0.118 and p = 0.518, respectively). Fourth, comparing our mask-and-recover objective against three established tabular SSL baselines (VIME, SCARF, SubTab) under an identical encoder architecture, we find no significant difference from any of them (adjusted p = 0.459, p = 1.000, p = 1.000), indicating our findings reflect general properties of tabular SSL rather than idiosyncrasies of one particular pretext task.
• Abstract（参考訳）: 自己教師付き学習(SSL)は表形式のデータに対して有望なアプローチとして現れてきたが、極端なラベルの不足とテストタイムの欠如の下での有効性は未調査のままである。 本稿では,14の多様な分類課題を対象とした,スクラッチと古典的ベースラインからのトレーニングに対するSSL事前学習目標の評価を行う。 まず、SSLはゼロからトレーニングを上回り、最先端のツリーアンサンブル(約0.8954 AUC vs. Random Forestの0.9015を10%のラベルで達成)と競合する一方で、SSL-vs-スクラッチゲインは高いタスク間分散と重要性(p = 0.626を5%と10%のラベルで達成)を示す。 第二に、欠落値計算の目的は、ネイティブに欠落したデータセットに普遍的に利益をもたらすという仮説とは対照的に、SSLはクリーンなデータセットに対して最も信頼性の高い改善をもたらすと同時に、固有の欠落の高いデータセット上でのパフォーマンスを頻繁に低下させる。 第3に、このトレーニングのばらつきにもかかわらず、SSL事前学習モデルは、ランダム(MCAR)注入時のテスト時間不足(+0.0245 AUC、14タスク中11)と構造的欠落シフト(MNAR、+0.0418 AUC、14タスク中8)の両方の下で、スクラッチトレーニングされたモデルよりも平均AUCを達成するが、複数の比較(それぞれp =0.118、p =0.518)でホルム・ボンフェローニ補正後の統計的に有意な差は残っていない。 第4に、同一のエンコーダアーキテクチャの下で確立された3つのタブ状SSLベースライン(VIME, SCARF, SubTab)に対して、マスク・アンド・リカバリの目的を比較したところ、そのどれとも有意な差(調整されたp = 0.459, p = 1.000, p = 1.000)は見つからなかった。

関連論文リスト

• Leakage-Robust Evaluation and Data-Scale Sensitivity of Attention-Enhanced Multi-Task Learning for Joint Fault Diagnosis and Remaining Useful Life Estimation [0.0]
  マルチタスクディープラーニングモデルは、スライディングウィンドウシーケンスがトレーニングとテストセットにどのように分割されるかによって影響を受ける可能性がある。 ナイーブな分割は、真の20-60%から99.9%に分類精度を低下させる可能性がある。 チャンクベース・リーク監査分割プロトコルを導入し,5種の種子,片方向ANOVA,Tukey HSDテストを用いて全モデルを評価した。
  論文  参考訳（メタデータ） (2026-07-17T20:33:36Z)
• Trust-SSL: Additive-Residual Selective Invariance for Robust Aerial Self-Supervised Learning [6.479513353756828]
  自己教師付き学習 (SSL) は、航空画像における表現学習の標準的手法である。 本研究では,このような汚職に対するSSLを強化するためのトレーニング戦略とアーキテクチャ修正を提案する。 この方法は、EuroSAT、AID、NWPU-RESISC45の6つのバックボーンの中で、最も高い平均線形プローブ精度を実現する。
  論文  参考訳（メタデータ） (2026-04-23T07:07:59Z)
• Self-Training the Neurochaos Learning Algorithm [0.0]
  本研究では,この制約を克服するために,ニューロカオス学習(NL)としきい値に基づく自己学習(ST)手法を統合したハイブリッド半教師付き学習アーキテクチャを提案する。 提案した自己学習型ニューロカオス学習(NL+ST)アーキテクチャは,スタンドアロンSTモデルと比較して一貫して優れた性能向上を実現している。
  論文  参考訳（メタデータ） (2026-01-03T10:24:01Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Semi-Supervised Learning via Weight-aware Distillation under Class Distribution Mismatch [15.57119122765309]
  我々は、SSLエラーを軽減するために、Weight-Aware Distillation (WAD)と呼ばれる堅牢なSSLフレームワークを提案する。 WADは、表現空間内のポイント相互情報(PMI)を探索することにより、適応重みと高品質な擬似ラベルをターゲットインスタンスにキャプチャする。 集団分布ミスマッチでは,WADは人口リスクの上限が狭いことが証明された。
  論文  参考訳（メタデータ） (2023-08-23T02:37:34Z)
• PercentMatch: Percentile-based Dynamic Thresholding for Multi-Label Semi-Supervised Classification [64.39761523935613]
  トレーニング中の各クラスに対する正と負の擬似ラベルのスコア閾値を動的に変更するためのパーセンタイルベースのしきい値調整手法を提案する。 近年のSSL方式と比較して, Pascal VOC2007 と MS-COCO のデータセットの性能は高い。
  論文  参考訳（メタデータ） (2022-08-30T01:27:48Z)
• A semi-supervised Teacher-Student framework for surgical tool detection and localization [2.41710192205034]
  外科的ツール検出のパラダイムにおいて,半教師付き学習(SSL)フレームワークを導入する。 提案手法では,教師-学生共同学習を初期化するラベル付きデータを用いたモデルを訓練する。 m2cai16-tool-locations データセットの結果は、異なる教師付きデータ設定に対するアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2022-08-21T17:21:31Z)
• ADT-SSL: Adaptive Dual-Threshold for Semi-Supervised Learning [68.53717108812297]
  Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータを併用してモデルをトレーニングすることで、高度な分類タスクを実現している。 本稿では,半教師付き学習(ADT-SSL)のための適応的デュアル閾値法を提案する。 実験の結果,提案したADT-SSLは最先端の分類精度を実現することがわかった。
  論文  参考訳（メタデータ） (2022-05-21T11:52:08Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。