論文の概要: When Does Depth Help? Understanding Layerwise Inference in Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2610.19814v1
• Date: Wed, 14 Oct 2026 08:57:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.043737
• Title: When Does Depth Help? Understanding Layerwise Inference in Tabular Foundation Models
• Title（参考訳）: 深度はいつ役に立つか? 語彙基礎モデルにおける階層的推論の理解
• Abstract要約: 最近の分析では、初期のFM表現における強い予測性能が確認されている。 分類データセット272種を対象に,TabPFN-3のテキスト内学習層について検討した。
• 参考スコア（独自算出の注目度）: 10.666637027261753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based tabular foundation models (TFMs) achieve state-of-the-art performance on small to medium-sized tabular prediction tasks while processing diverse inputs through a shared stack of layers. Recent layerwise analyses identify strong predictive performance in early TFM representations and substantial overlap in computation across layers. However, early predictive accessibility alone does not establish whether later layers are dispensable for every input, and aggregate accuracy can obscure which inputs benefit from additional computation. We study all 24 in-context-learning layers of TabPFN-3 across 272 classification datasets, combining representation geometry, prediction trajectories, truncation, and structural interventions, while also examining related representation dynamics in four additional TFMs. We uncover a pronounced expansion-compression trajectory, with stronger late dimensional contraction associated with larger increases in class-prototype separation. A targeted analysis of early-stabilizing samples shows that substantial representational changes persist after predicted classes stabilize, while locally ambiguous queries obtain larger accuracy gains from shallow to late layers than well-separated queries. Repeating a single pretrained block or perturbing layer order reduces predictive performance on average, constraining simple post-hoc substitutions in the frozen model. These findings distinguish predictive accessibility, class stability, and the benefits of continuing computation, supporting an input-dependent assessment of depthwise redundancy in TFMs.
• Abstract（参考訳）: Transformer-based tabular foundation model (TFMs) は、階層の共有スタックを通じて多様な入力を処理しながら、中小の表形式予測タスクにおいて最先端のパフォーマンスを達成する。 最近の階層解析では、初期のTFM表現における強い予測性能と層間計算の相当な重複が確認されている。 しかし、初期の予測アクセシビリティだけでは、後続の層が全ての入力に不要であるかどうかを定めておらず、集約精度は、追加の計算によってどの入力が恩恵を受けるかを曖昧にすることができる。 我々は272の分類データセットにまたがるTabPFN-3の24のテキスト内学習層について、表現幾何学、予測軌道、トランケーション、構造的介入を組み合わせながら検討し、さらに4つの追加TFMにおける関連する表現ダイナミクスについても検討した。 クラス-プロトタイプ分離の増大に伴う後次元収縮の強い拡張圧縮軌道が明らかとなった。 早期安定化サンプルを対象とした解析により,予測されたクラスが安定すると,実質的な表現的変化が持続することが示された。 1つの事前訓練されたブロックや摂動層の順序を繰り返すと、凍結モデルにおける単純なポストホック置換を制限して、平均的な予測性能が低下する。 これらの知見は, 予測アクセシビリティ, クラス安定性, 継続計算の利点を識別し, TFMの深さ方向の冗長性の入力依存評価を支援する。

関連論文リスト

• Is One Layer Enough? Understanding Inference Dynamics in Tabular Foundation Models [2.8473361448579713]
  本研究は,6種類のテクスチャ内テキスト学習モデルにおける階層的力学の大規模研究である。 以上の結果から,複数のモデルにまたがる奥行きの冗長性が示唆された。 本稿では,従来のモデルのパラメータの20%しか使用せず,同等の性能を実現した概念実証ループ単一層モデルを設計する。
  論文  参考訳（メタデータ） (2026-05-07T16:22:04Z)
• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• Causal Pre-training Under the Fairness Lens: An Empirical Study of TabPFN [3.059960033014892]
  Tabular Prior-data Fitted Network (TabPFN) とその微調整版の評価を行った。 以上の結果から,TabPFNはベースラインに比べて高い予測精度を達成できるが,公平性の改善は適度で矛盾することがわかった。 以上の結果から,TabPFNの因果前訓練はアルゴリズム的公平性には不十分であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-25T17:17:12Z)
• How Do LLMs Use Their Depth? [17.148445769990907]
  大規模言語モデルは深度を均一に用いていないが,層レベルでの予測力学の詳細な理解はいまだに得られていない。 本稿では,LLMが内部的に計算を構成して予測を行う方法について説明する。
  論文  参考訳（メタデータ） (2025-10-21T17:59:05Z)
• LayerLock: Non-collapsing Representation Learning with Progressive Freezing [74.78054305471325]
  本稿では、自己教師付き視覚表現学習のためのシンプルで効果的なアプローチであるLayerLockを紹介する。 ビデオマスク自動符号化(MAE)モデルのトレーニング中、ViT層は深さの順に収束する。 我々は,この観測を,明示的なスケジュールに従ってモデルを段階的に凍結することにより,標準MAEの高速化に活用できることを示す。
  論文  参考訳（メタデータ） (2025-09-12T11:32:51Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• The Remarkable Robustness of LLMs: Stages of Inference? [5.346230590800585]
  本研究では,Large Language Models (LLM) の構造的介入に対するロバスト性について検討する。 驚くべきことに、モデルは微調整なしでオリジナルのトップ1予測精度の72-95%を維持している。
  論文  参考訳（メタデータ） (2024-06-27T17:57:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。