論文の概要: Ensembling Tabular Foundation Models - A Diversity Ceiling And A Calibration Trap
- arxiv url: http://arxiv.org/abs/2605.18696v1
- Date: Mon, 18 May 2026 17:32:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:50.202927
- Title: Ensembling Tabular Foundation Models - A Diversity Ceiling And A Calibration Trap
- Title(参考訳): タブラルファウンデーションモデルの構築 - 多様なシーリングとキャリブレーションのトラップ
- Authors: Aditya Tanna, Yash Desai, Pratinav Seth, Mohamed Bouadi, Nassim Bouarour, Vinay Kumar Sankarapu,
- Abstract要約: データセット毎に単一のタブラル基礎モデル(TFM)が勝つことはない。
153の分類タスクに対して,6つのFMに対して6つのアンサンブル戦略をベンチマークした。
最高のアンサンブルである2レベルのカスケードスタックは、最強のシングルFMを253タイムで+0.18%の精度で購入する。
- 参考スコア(独自算出の注目度): 3.478921293603811
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tabular foundation models (TFMs) now match or beat tuned gradient-boosted trees on a growing fraction of tabular tasks, but no single TFM wins on every dataset. Ensembling is the go to fix here, and it works less well than expected. Six modern TFMs form a near-redundant pool: their mean pairwise Q-statistic is $0.961$, close enough to $1$ that any convex combination is bounded above. We benchmark six ensemble strategies over six TFMs on 153 OpenML classification tasks. The best ensemble, two-level cascade stacking, buys $+0.18\%$ accuracy over the strongest single TFM at $253\times$ the compute. A Friedman and Nemenyi analysis places three ensembles and the best base TFM in a single equivalence group; three other ensembles are significantly \emph{worse} than the best base. Stacking with a logistic-regression meta-learner is the most striking case: competitive accuracy and ROC-AUC, the worst log-loss rank among the ensembles. The meta-learner improves accuracy by sharpening class boundaries, which destroys calibration. We recommend greedy selection as the practical default.
- Abstract(参考訳): タブラル基礎モデル(TFM)は、増加傾向にあるタスクで調整された勾配木にマッチまたは打ち勝つが、データセット毎に単一のFMが勝利することはない。
組み立てはここで解決する手段であり、予想よりもうまく機能しない。
平均対Q-統計量は0.961$で、凸結合が上に有界であるような1ドルに近い。
我々は、153のOpenML分類タスクに対して、6つのFMに対して6つのアンサンブル戦略をベンチマークした。
最高のアンサンブルである2レベルのカスケードスタックは、最強のTFMよりも$+0.18\%の精度を$253\times$計算で購入する。
Friedman と Nemenyi の分析では、3つのアンサンブルと最高のベース TFM を1つの同値群に配置するが、他の3つのアンサンブルは最良ベースよりも著しく \emph{worse} となる。
競合精度とROC-AUCは、アンサンブルの中で最悪のログロスランクである。
メタリアナーは、校正を損なうクラス境界を鋭くすることで精度を向上させる。
現実のデフォルトとしてgreedy selectionを推奨します。
関連論文リスト
- LoMETab: Beyond Rank-1 Ensembles for Tabular Deep Learning [0.2999888908665658]
我々は、乗法的暗黙のアンサンブルのランク-$r$の一般化であるLoMETabを提案する。
LoMETabはランク-1のBatchEnsemble/TabM変調をランク-r$のID-Residual Adamardファミリーに引き上げる。
実験により,この付加能力はトレーニング後の測定可能な予測多様性として現れることが示された。
論文 参考訳(メタデータ) (2026-05-14T04:47:16Z) - What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。
我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。
3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
論文 参考訳(メタデータ) (2026-05-12T01:57:53Z) - A Boundary-Metric Evaluation Protocol for Whiteboard Stroke Segmentation Under Extreme Imbalance [0.0]
境界対応メトリクスと細いサブセットの株式分析は、損失関数のランク付けと隠されたトレードオフの公開方法を変える。
DeepLabV3-MobileNetV3モデルでは5つの損失がそれぞれ3回トレーニングされ、12のホールドアウトイメージで評価される。
オーバーラップベースの損失は、クロスエントロピーでF1を20ポイント以上改善する。
論文 参考訳(メタデータ) (2026-02-26T05:16:18Z) - Trade-off in Estimating the Number of Byzantine Clients in Federated Learning [51.015234193544636]
フェデレート学習は、誤ったシグナルを送信できるビザンティンのクライアントにとって脆弱である。
我々は、過小評価(hatfge f$)が、アグリゲータとフェデレーションドラーニングの両方において、任意に貧弱なパフォーマンスをもたらすことを示した。
これらの最適境界はすべて$hatf/(n-f-hatf)$と$n$クライアントに比例し、より大きい$hatf$で単調に増加する。
論文 参考訳(メタデータ) (2025-10-06T02:01:56Z) - Contextual Combinatorial Bandits with Probabilistically Triggered Arms [55.9237004478033]
確率的に誘発される腕(C$2$MAB-T)を様々な滑らかさ条件下で検討した。
トリガー変調 (TPM) 条件の下では、C$2$-UC-Tアルゴリズムを考案し、後悔すべき$tildeO(dsqrtT)$を導出する。
論文 参考訳(メタデータ) (2023-03-30T02:51:00Z) - Rebalanced Siamese Contrastive Mining for Long-Tailed Recognition [120.80038161330623]
教師付きコントラスト学習は、元のバッチレベルとシームズバッチレベルの両方において、二重クラス不均衡の問題に悩まされていることを示す。
コントラスト計算のための情報的ペアを抽出し,表現学習を改善するために,教師付き強正・負のペアマイニングを提案する。
論文 参考訳(メタデータ) (2022-03-22T07:30:38Z) - Modality-Aware Triplet Hard Mining for Zero-shot Sketch-Based Image
Retrieval [51.42470171051007]
本稿では,ZES-SBIR(Zero-Shot Sketch-Based Image Retrieval)問題に,クロスモダリティメトリック学習の観点から取り組む。
DMLにおける2つの基本的な学習手法、例えば分類訓練とペアトレーニングを組み合わせることで、ZS-SBIRの強力なベースラインを構築した。
モータリティ・アウェア・トリプルト・ハード・マイニング(MATHM)は3種類のペア・ラーニングによってベースラインを向上することを示す。
論文 参考訳(メタデータ) (2021-12-15T08:36:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。