論文の概要: Test-Time Compute for Tabular Foundation Models: Mechanisms, Gains, and Limits
- arxiv url: http://arxiv.org/abs/2610.12005v1
- Date: Thu, 08 Oct 2026 14:09:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.069702
- Title: Test-Time Compute for Tabular Foundation Models: Mechanisms, Gains, and Limits
- Title（参考訳）: タブラル基礎モデルの試験時間計算:メカニズム,ゲイン,限界
- Abstract要約: テストタイム計算のどの形態が、強い事前訓練された基礎モデルの予測を改善するかを系統的に研究する。
適応のために、対角的なクエリキー類似性更新であるDiagScaleを紹介します。
アグリゲーションでは、プール構成と選択戦略の両方が重要である。
コンテキスト構築のために、注意誘導検索はTabPFN-3の予測をいくつかの大きなテーブルで改善する。
- 参考スコア（独自算出の注目度）: 26.659466518470563
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Which forms of test-time compute improve the predictions of strong pretrained tabular foundation models (TFMs)? We systematically study this along three axes: adaptation, aggregation, and context construction. Our evaluation spans modern TFMs across the TabArena benchmark, supplemented by experiments on wide and large-scale tables from OpenML. For adaptation, we introduce DiagScale, a diagonal query-key similarity update. It trains only 0.003-0.03% of model parameters and achieves gains comparable to full fine-tuning across three independently pretrained backbones. For aggregation, both pool composition and selection strategy matter. TabPFN-3 already averages predictions from different preprocessing variants of the same data, and adding more such predictions yields diminishing returns. With a broader pool of 96 configurations, greedy selection reduces error by 2.4% relative to the default predictor, but uniform averaging increases error. For context construction, attention-guided retrieval improves TabPFN-3's predictions on some large tables and supports source pools beyond the full context memory limit. The context expansion methods we test yield no consistent improvement. Taken together, our results suggest that adaptation and selective aggregation yield consistent benchmark-level gains. The benefits of context construction depend more on the task and data regime. Adaptation and aggregation over the same backbone yield further gains when combined, but require substantially more computation than default inference. These trade-offs motivate choosing strategies according to the available computation budget. Code is available at https://github.com/kanghui-learning/test-time-compute-for-tabular-foundation-models.
- Abstract（参考訳）: テストタイム計算のどの形態が、強い事前訓練された表層基礎モデル(TFM)の予測を改善するのか?
我々はこれを適応、集約、コンテキスト構築という3つの軸に沿って体系的に研究する。
評価はTabArenaベンチマークにまたがって,OpenMLの大規模および大規模テーブル上での実験によって補完される。
適応のために、対角的なクエリキー類似性更新であるDiagScaleを紹介します。
モデルパラメータの0.003-0.03%しか訓練せず、3つの独立した事前訓練されたバックボーンの完全な微調整に匹敵するゲインを得る。
アグリゲーションでは、プール構成と選択戦略の両方が重要である。
TabPFN-3は、同じデータの異なる前処理の変種からの予測をすでに平均化しており、そのような予測を追加すると、リターンが減少する。
96構成の広いプールでは、greedy選択はデフォルトの予測器と比較してエラーを2.4%削減するが、平均値の均一化はエラーを増大させる。
コンテキスト構築のために、注意誘導検索はTabPFN-3の予測をいくつかの大きなテーブルで改善し、完全なコンテキストメモリ限界を超えるソースプールをサポートする。
テストする文脈拡張手法では、一貫した改善は得られない。
この結果から,適応と選択的アグリゲーションが一貫したベンチマークレベルゲインをもたらすことが示唆された。
コンテキスト構築の利点は、タスクとデータ構造に依存します。
同じバックボーン上での適応とアグリゲーションは、組み合わせるとさらに向上するが、デフォルトの推論よりもはるかに多くの計算を必要とする。
これらのトレードオフは、利用可能な計算予算に応じて戦略を選択する動機となります。
コードはhttps://github.com/kanghui-learning/test-time-compute-for-tabular-foundation-modelsで入手できる。
関連論文リスト
- Learning to Predict Distributions over Weight Updates for Test-Time Adaptation [13.846252284401212]
LoRA推定のためのクエリ条件付きHypernetworksについて検討する。
パラメータアダプタの点推定を生成できる分布型Hypernetworksを導入する。
その結果,学習した分布の平均値を用いても,決定論的ハイパーネットよりも優れることがわかった。
論文 参考訳（メタデータ） (2026-10-01T16:05:09Z) - Towards Evaluating Data Priors for Tabular Foundation Models [74.75794086564035]
我々は、実際のデータセットから構築された公開事前および事前の統一インターフェースを実装している。
我々は、事前からトレーニングタスクを生成し、同じモデルアーキテクチャを固定されたトレーニングプロトコルでトレーニングし、共有下流分類タスクで得られたモデルを評価する。
以上の結果から,より強い絶対性能を達成できるものや,データセット間の相対的ランキングの一貫性が向上するものもある。
論文 参考訳（メタデータ） (2026-06-28T07:12:45Z) - When Tabular Foundation Models Transfer Across Modalities: A Systematic Evaluation Across 95 Datasets, 7 Modalities, and Two Regimes [0.0]
パイプラインは、同じ凍結した機能で強力な軽量チューニングベースラインと幅広い競争力がある。
非常に優れた専門的なモデルや、すべてのタスクで高度に調整されたパイプラインとは一致しないが、近いままであり、非常に高速で、通常はフルバックボーンの微調整よりも4倍から200倍速く、しばしば同等の品質で動作している。
論文 参考訳（メタデータ） (2026-06-01T11:36:20Z) - Latent Chain-of-Thought Improves Structured-Data Transformers [26.742304109602614]
本稿では,遅延連鎖と,構造データに対する深さとループの影響について検討する。
我々は、潜在チェーン・オブ・シントが構造化データに対するテスト時間計算のスケーリングに有用な軸であることを示している。
論文 参考訳（メタデータ） (2026-05-11T21:41:21Z) - Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。
ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。
トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
論文 参考訳（メタデータ） (2026-02-26T11:08:39Z) - Revisiting Chebyshev Polynomial and Anisotropic RBF Models for Tabular Regression [0.7734726150561086]
チェビシェフ回帰器や放射基底関数(RBF)ネットワークのような滑らかな基底モデルが数値解析においてよく確立されている。
アプリケーションドメインによって編成された55の回帰データセットにまたがって、モデルをベンチマークできるかどうかを問う。
論文 参考訳（メタデータ） (2026-02-25T21:34:52Z) - TabPFN: One Model to Rule Them All? [21.658323618943697]
統計利用者に対して,TabPFNがどのように機能するかを整理した説明を提供する。
本稿では,TabPFNのアウト・オブ・ザ・ボックス適用が,最先端の特殊な手法よりもはるかに優れていることを示す。
論文 参考訳（メタデータ） (2025-05-26T13:55:29Z) - A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。
モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。
本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
論文 参考訳（メタデータ） (2023-03-02T21:48:22Z) - Flexible Model Aggregation for Quantile Regression [92.63075261170302]
量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。
条件付き量子モデルの任意の数を集約する手法について検討する。
この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
論文 参考訳（メタデータ） (2021-02-26T23:21:16Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳（メタデータ） (2020-06-19T05:08:43Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。