論文の概要: Tabular Foundation Models Are Effectively Shallow

• arxiv url: http://arxiv.org/abs/2610.13253v1
• Date: Fri, 09 Oct 2026 09:01:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.4997
• Title: Tabular Foundation Models Are Effectively Shallow
• Title（参考訳）: タブラル・ファンデーション・モデルは効果的に浅すぎる
• Abstract要約: In-context-learning Tabular Foundation Models (TFM)は、限られたリソースやプライバシー制約のあるシナリオに適している。 Gradient-Boosted Decision Trees (GBDTs)のような従来の代替手段は競争力が高く、CPU上で効率的に動作する。 TFMはパフォーマンスを犠牲にすることなくアーキテクチャ上の冗長性を取り除くことで単純化できるのか? ブロックの96%の連続したウィンドウを置き換え,残余をそのまま残す,クローズドなラベルフリーアフィントランスレータを導入する。
• 参考スコア（独自算出の注目度）: 17.03566613914915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context-learning Tabular Foundation Models (TFMs) are uniquely suited to scenarios with limited resources or privacy constraints, as they solve new tasks without additional training. However, their architecture consists of multiple transformer blocks, resulting in high computational and memory footprints. Meanwhile, traditional alternatives like Gradient-Boosted Decision Trees (GBDTs) remain highly competitive and run efficiently on CPUs, suggesting that tabular tasks may not inherently require deep architectures. This contrast raises a fundamental question: can TFMs be simplified by removing architectural redundancies without sacrificing performance? To answer this, we introduce a closed-form, label-free affine translator that replaces a contiguous window of up to 96% of the blocks, leaving the rest unchanged. Evaluating eight frontier TFMs on 171 classification datasets, we reveal that tabular transformers are vastly overparameterized: replacing half of a model's blocks costs at most $0.002$ median AUROC across all architectures, with the half-depth TabFM still outperforming every other full-depth TFMs and tuned GBDTs. Furthermore, different model families are overparameterized in different ways: TabPFN-3 relies on its encoders, maintaining performance regardless of which single block is retained. Other single-axis models spread computation thinly, needing only their first block, while dual-axis models concentrate it in one critical block. Ultimately, removing depth saves up to 1.5B parameters, speeds up GPU inference by up to $6\times$ at a median cost of $0.03$ AUROC, while a single-block TabPFN-3 serves cached queries $2.4\times$ faster using $6\times$ less memory at negligible cost.
• Abstract（参考訳）: In-context-learning Tabular Foundation Models (TFMs) は、追加のトレーニングなしで新しいタスクを解決するため、限られたリソースやプライバシ制約のあるシナリオに特に適している。 しかし、それらのアーキテクチャは複数の変圧器ブロックで構成されており、高い計算量とメモリフットプリントをもたらす。 一方、Gradient-Boosted Decision Trees (GBDTs)のような従来の代替手段は競争力が高く、CPU上で効率的に動作している。 TFMはパフォーマンスを犠牲にすることなくアーキテクチャ上の冗長性を取り除くことで単純化できるのか? これに対応するために、ブロックの96%の連続したウィンドウを置き換え、残余をそのまま残す、クローズドフォームなラベルフリーアフィントランスレータを導入する。 171の分類データセット上で8つのフロンティアTFMを評価すると、表型トランスフォーマーは極めて過度にパラメータ化されていることが判明した。モデルのブロックの半分を0.002ドル中央値のAUROCで置き換える。 TabPFN-3はエンコーダに依存し、どのブロックが保持されているかに関わらず性能を維持する。 他の単一軸モデルは計算を薄く展開し、最初のブロックだけを必要とする一方、二重軸モデルは1つのクリティカルブロックに集中する。 最終的に、深さの削減は1.5Bパラメータを節約し、GPU推論を最大6\times$で0.03$ AUROCで高速化し、一方シングルブロックのTabPFN-3はキャッシュクエリを2.4\times$で、無視できるコストで6\times$少ないメモリで高速に処理する。

関連論文リスト

• M$^2$PFN: End-to-End Disentangled Alignment for Generalizable Multimodal In-Context Learning in Alzheimer's Disease [5.863405237491179]
  テキスト内学習は優れた一般化性能を示した。 M$2$PFNは、TabPFNをマルチモーダルAD予測器に変換するエンドツーエンドフレームワークである。 M$2$PFNは$65.55%$ macro-F1と$82.21%$ macro-AUCを達成し、総じてUnimodalとMultimodalのベースラインを超えた。
  論文  参考訳（メタデータ） (2026-09-23T23:05:36Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Variable-Width Transformers [57.07167443557886]
  本稿では,$times$-shaped > former architectureを提案する。 我々の設計は、パラメータフリーの残留リサイズ機構を利用して、中間層を狭めながら、より広い早期層と後期層を維持している。 平均的な層幅を減らすことで、このアーキテクチャは全体のFLOPを少なくし、KVキャッシュメモリを小さくし、I/Oコストを削減できる。
  論文  参考訳（メタデータ） (2026-06-16T17:59:03Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
  現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。 我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。 3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
  論文  参考訳（メタデータ） (2026-05-12T01:57:53Z)
• Compact SO(3) Equivariant Atomistic Foundation Models via Structural Pruning [4.793059213046564]
  本稿では,SO(3)同変原子基盤モデルの構造解析法を提案する。 プルーニングはチャネルと順序次元に沿って適用され、各既約表現は完全なブロックとして保持または削除される。 プルーニングされたMACE-MPモデルは、マトベンチディスカバリーのリーダーボード上の9つの指標のうち7つで、公式のオフスクラッチトレーニングされた小さなモデルよりも優れています。
  論文  参考訳（メタデータ） (2026-05-09T11:07:03Z)
• L$^3$: Large Lookup Layers [30.519997678052658]
  スパーストークンライザ埋め込みテーブルは、コンテキスト情報を持たないコストで、トークンごとの単一の埋め込みを選択する。 L$3$レイヤは静的トークンベースのルーティングを使用して、コンテキスト依存の方法でトークン毎に学習した埋め込みのセットを集約する。 L$3$は、(1)高速なトレーニングとCPUオフロード推論が可能なシステムフレンドリーなアーキテクチャ、(2)スピードと品質を効果的にバランスする情報理論の埋め込み割り当てアルゴリズムである。
  論文  参考訳（メタデータ） (2026-01-29T09:37:31Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。