論文の概要: TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy

• arxiv url: http://arxiv.org/abs/2610.13654v1
• Date: Fri, 09 Oct 2026 14:29:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.62134
• Title: TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy
• Title（参考訳）: TabReliBench: 予測精度を超えて,タブラルファウンデーションモデルを評価する
• Abstract要約: タブラル基礎モデル(TFM)はその強い予測性能でますます人気を博している。 我々は,点予測,分布品質,限界校正とサブグループ校正,インターバル効率を通じて信頼性を評価する。 我々はこれらの比較とデータセットレベルの分析のための大規模な分類と回帰のベンチマークであるTabReliBenchを紹介する。
• 参考スコア（独自算出の注目度）: 15.008838351145235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular foundation models (TFMs) are increasingly popular for their strong predictive performance. Many also provide posterior predictive distributions (PPDs), whose reliability remains less studied. We assess reliability through point prediction, distributional quality, marginal and subgroup calibration, and interval efficiency. We then introduce TabReliBench, a large classification and regression benchmark for these comparisons and dataset-level analyses. We find that TFMs' rankings change between TabArena and our benchmark and across reliability metrics. Regression TFMs usually achieve near-nominal marginal coverage and retain narrow intervals, but this favorable marginal behavior does not imply valid conditional coverage. Dataset-level analyses show that classification difficulty often accompanies poor calibration, whereas regression predictive performance is not a reliable indicator of calibration. Ensembling improves predictive performance but does not consistently improve calibration of PPDs; TFMs also benefit little from conformal post-processing, which does not reliably resolve subgroup gaps. Reliable TFM selection therefore requires multidimensional evaluation beyond aggregate rankings. Code is available at https://github.com/Tianqi-Zhao/TabReliBench.
• Abstract（参考訳）: タブラル基礎モデル(TFM)はその強い予測性能でますます人気を博している。 多くは後続予測分布(PPD)も提供しており、信頼性は依然として研究されていない。 我々は,点予測,分布品質,限界・サブグループ校正,インターバル効率を通じて信頼性を評価する。 次に、これらの比較とデータセットレベルの分析のための大規模な分類および回帰ベンチマークであるTabReliBenchを紹介する。 TFMsのランキングがTabArenaとベンチマークと信頼性の指標の間で変化していることが分かりました。 回帰TFMは、通常、ほぼ最小の辺縁被覆を達成し、狭い間隔を保っているが、この有利な辺縁の挙動は、条件付き被覆を有意に示さない。 データセットレベルの分析では、分類困難はしばしばキャリブレーションの低下を伴うが、回帰予測性能はキャリブレーションの信頼性を示す指標ではない。 組み立ては予測性能を改善するが、PDDのキャリブレーションを一貫して改善するわけではない。 したがって、信頼性の高いTFM選択には、集計ランキングを超えた多次元評価が必要である。 コードはhttps://github.com/Tianqi-Zhao/TabReliBench.comで入手できる。

関連論文リスト

• Conformal Prediction and Conditional Coverage for Tabular Foundation Models [12.905286310477456]
  C-USIMは、高い予測密度分割共形予測の軽量な応用である。 これは我々の仮定の下で有限サンプルの限界有効性を提供する。 TabPFNとTabICLによる実験では、限界カバレッジ精度が向上し、平均条件およびグループカバレッジエラーが低減された。
  論文  参考訳（メタデータ） (2026-09-28T10:58:51Z)
• Robust Bayes-Assisted Conformal Prediction [0.9558392439655014]
  ベイズ支援型共形予測は、ベイズモデリングの強みと、正確に分布のない頻繁なカバレッジ保証を組み合わせる。 頑健な非整合性スコアを構築するためのベイズ支援フレームワークRoBAS(Robust Bayes-Assisted Shrinkage:Robust Bayes-Assisted Shrinkage)を紹介する。
  論文  参考訳（メタデータ） (2026-07-05T11:26:37Z)
• Distributional Regression with Tabular Foundation Models: Evaluating Probabilistic Predictions via Proper Scoring Rules [0.7009487789080344]
  適切なスコアリングルールは、トレーニング中に異なるモデルランキングと異なる帰納バイアスを誘導することを示す。 事前トレーニング中に見えないスコアルールを持つ微調整の realTabPFNv2.5 は、対応するメトリクスに対して一貫した改善をもたらす。
  論文  参考訳（メタデータ） (2026-03-09T10:38:01Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [65.21599711087538]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Is this model reliable for everyone? Testing for strong calibration [4.893345190925178]
  十分に校正されたリスク予測モデルでは、平均予測確率は任意のサブグループの真の事象率に近い。 強いキャリブレーションのためのモデル監査のタスクは、潜在的な部分群の数が多すぎるため、難しいことが知られている。 適合性試験の最近の進歩は潜在的な解決策を提供するが、弱い信号を持つ設定には設計されていない。
  論文  参考訳（メタデータ） (2023-07-28T00:59:14Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。