論文の概要: Architecture Alignment With Sparse Priors in Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2609.36883v1
• Date: Tue, 29 Sep 2026 07:12:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.272817
• Title: Architecture Alignment With Sparse Priors in Tabular Foundation Models
• Title（参考訳）: タブラルファウンデーションモデルにおける疎結合のアーキテクチャアライメント
• Abstract要約: タブラル基礎モデル(TFM)は、コンテキスト内学習を通じて、新しいデータセットに対する強力な予測を提供するため、ますます人気が高まっている。 しかし、リリースされたTFMは、事前訓練された事前、アーキテクチャ、目的において同時に異なり、それぞれの帰納的バイアスを無視する。 アーキテクチャが無関係な機能抑制に寄与するかどうかを問う。
• 参考スコア（独自算出の注目度）: 10.863806811775069
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular foundation models (TFMs) are increasingly popular because they deliver strong predictions on new datasets through in-context learning, without task-specific training or extensive tuning. Yet released TFMs differ simultaneously in their pretraining priors, architectures, and objectives, obscuring their respective inductive biases. We therefore examine one concrete capability: irrelevant-feature suppression. Across synthetic tasks and real-world datasets, adding null features causes substantially greater predictive degradation in the row-token model TabDPT, whereas the cell-token alternating-axis model TabPFN v2 and other TFMs remain comparatively stable. This gap motivates us to ask whether architecture contributes to irrelevant-feature suppression. Because released TFMs remain confounded by other design choices, we train streamlined row-token and alternating-axis transformers under identical sparse-to-dense linear priors. Exact Bayes analysis shows that sparse prediction requires context-dependent feature gating, whereas the dense endpoint requires only uniform feature weighting. Consistent with this distinction, the alternating-axis model is substantially closer to the Bayesian optimal predictor on sparse tasks, while the architecture gap becomes negligible on dense tasks; almost all of the sparse gap arises from linear coefficient-estimation error. Finally, in both the controlled model and frozen TabPFN v2, we examine the effect of interventions on the feature-attention outputs on the linear coefficients, finding evidence of task-dependent selective routing of computation through feature-indexed pathways. Together, these results support architecture-prior alignment: preserving an addressable feature axis provides an inductive bias for task-adaptive relevance inference. Code is available at https://github.com/Tianqi-Zhao/ArchitecturePriorTFMs.
• Abstract（参考訳）: タスク固有のトレーニングや広範囲なチューニングを必要とせず、コンテキスト内学習を通じて新しいデータセットに対する強力な予測を提供するため、タブラル基礎モデル(TFM)はますます人気がある。 しかし、リリースされたTFMは、事前訓練された事前、アーキテクチャ、目的において同時に異なり、それぞれの帰納的バイアスを無視する。 そこで我々は, 関係のない機能抑制という, 1つの具体的な能力について検討する。 合成タスクや実世界のデータセットに加えて、null機能を追加することで、行トーケンモデルであるTabDPTが大幅に劣化する一方、セルトーケン交互軸モデルであるTabPFN v2や他のTFMは比較的安定している。 このギャップは、アーキテクチャが無関係な機能抑制に寄与するかどうかを問うモチベーションになります。 解放されたTFMは、他の設計選択によって構築されているため、同一のスパース・トゥ・ディエンス線形先行条件下で、合理化された行トーケンと交互軸変圧器を訓練する。 厳密なベイズ解析では、スパース予測は文脈依存的な特徴ゲーティングを必要とするが、密度の高いエンドポイントは特徴重み付けのみを必要とする。 この区別に従えば、交互軸モデルは疎タスクのベイズ最適予測器にかなり近いが、アーキテクチャギャップは密タスクでは無視され、スパースギャップのほとんど全てが線形係数推定誤差から生じる。 最後に、制御されたモデルと凍結したTabPFN v2の両方において、特徴注意出力に対する介入が線形係数に及ぼす影響を検証し、特徴付き経路による計算のタスク依存選択的ルーティングの証拠を発見する。 アドレス可能な特徴軸を保存することは、タスク適応的関連性推論に対して帰納的バイアスを与える。 コードはhttps://github.com/Tianqi-Zhao/ArchitecturePriorTFMsで入手できる。

関連論文リスト

• Towards Evaluating Data Priors for Tabular Foundation Models [74.75794086564035]
  我々は、実際のデータセットから構築された公開事前および事前の統一インターフェースを実装している。 我々は、事前からトレーニングタスクを生成し、同じモデルアーキテクチャを固定されたトレーニングプロトコルでトレーニングし、共有下流分類タスクで得られたモデルを評価する。 以上の結果から,より強い絶対性能を達成できるものや,データセット間の相対的ランキングの一貫性が向上するものもある。
  論文  参考訳（メタデータ） (2026-06-28T07:12:45Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• Noise Immunity in In-Context Tabular Learning: An Empirical Robustness Analysis of TabPFN's Attention Mechanisms [0.0]
  言語基礎モデル(TFM)は、文脈内学習(ICL)を通して異種データセットを一般化する 制御された合成摂動を用いた二元分類問題に対するTabPFNとその注意機構について検討する。 我々は、注意集中度や注目度に基づく特徴ランクの指標を含む内部信号を分析する。
  論文  参考訳（メタデータ） (2026-04-06T17:16:37Z)
• Causal Pre-training Under the Fairness Lens: An Empirical Study of TabPFN [3.059960033014892]
  Tabular Prior-data Fitted Network (TabPFN) とその微調整版の評価を行った。 以上の結果から,TabPFNはベースラインに比べて高い予測精度を達成できるが,公平性の改善は適度で矛盾することがわかった。 以上の結果から,TabPFNの因果前訓練はアルゴリズム的公平性には不十分であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-25T17:17:12Z)
• State-Space Models for Tabular Prior-Data Fitted Networks [1.9815629827604246]
  本研究では,TabPFNにおけるトランスフォーマーの代替として,双方向線形時間構造状態空間モデルであるHydraを用いる可能性を検討する。 実験により,本手法は順序依存性を低減し,従来のTabPFNモデルと競合する予測性能を実現する。
  論文  参考訳（メタデータ） (2025-10-16T11:31:51Z)
• A Closer Look at TabPFN v2: Understanding Its Strengths and Extending Its Capabilities [51.08999772842298]
  Tabular Prior-data Fitted Network v2 (TabPFN v2)は、さまざまな下流データセット間で、前例のないコンテキスト内学習性能を達成する。 本研究では,TabPFN v2が属性トークンをランダムに入力しても属性関係を推測可能であることを示す。 我々はTabPFN v2の制限がテスト時間分割・コンテキスト戦略によって対処できることを実証した。
  論文  参考訳（メタデータ） (2025-02-24T17:38:42Z)
• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Drift-Resilient TabPFN: In-Context Learning Temporal Distribution Shifts on Tabular Data [39.40116554523575]
  In-Context Learning with a Prior-Data Fitted Network に基づく新しいアプローチである Drift-Resilient TabPFN を提案する。 先行した合成データセットのベイズ推定を近似することを学ぶ。 精度は0.688から0.744に向上し、OC AUCは0.786から0.832に向上し、キャリブレーションも強化された。
  論文  参考訳（メタデータ） (2024-11-15T23:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。