論文の概要: Is One Layer Enough? Understanding Inference Dynamics in Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2605.06510v1
• Date: Thu, 07 May 2026 16:22:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.991332
• Title: Is One Layer Enough? Understanding Inference Dynamics in Tabular Foundation Models
• Title（参考訳）: 一つの層は十分か?-タブラル基礎モデルにおける推論ダイナミクスの理解
• Authors: Amir Rezaei Balef, Mykhailo Koshil, Katharina Eggensperger,
• Abstract要約: 本研究は,6種類のテクスチャ内テキスト学習モデルにおける階層的力学の大規模研究である。 以上の結果から,複数のモデルにまたがる奥行きの冗長性が示唆された。 本稿では,従来のモデルのパラメータの20%しか使用せず,同等の性能を実現した概念実証ループ単一層モデルを設計する。
• 参考スコア（独自算出の注目度）: 2.8473361448579713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based tabular foundation models (TFMs) dominate small to medium tabular predictive benchmark tasks, yet their inference mechanisms remain largely unexplored. We present the first large-scale mechanistic study of layerwise dynamics in 6 state-of-the-art tabular in-context learning models. We explore how predictions emerge across depth, identify distinct stages of inference and reveal latent-space dynamics that differ from those of language models. Our findings indicate substantial depthwise redundancy across multiple models, suggesting iterative refinement with overlapping computations during inference stages. Guided by these insights, we design a proof-of-concept, looped single-layer model that uses only 20% of the original model's parameters while achieving comparable performance. The code is available at https://github.com/amirbalef/is_one_layer_enough.
• Abstract（参考訳）: Transformer-based tabular foundation model (TFMs) は、小～中程度の表形式予測ベンチマークタスクを支配しているが、その推論機構はほとんど解明されていない。 本研究は,6種類のテクスチャ内テキスト学習モデルにおける階層的力学の大規模研究である。 本研究では,言語モデルと異なる潜在空間のダイナミクスを明らかにするとともに,予測が深度にわたってどのように現れるのかを考察する。 以上の結果から,複数のモデルにまたがる奥行きの冗長性が示唆された。 これらの知見に導かれ、我々は、オリジナルのモデルのパラメータの20%しか使用せず、同等のパフォーマンスを達成できる概念実証ループ単一層モデルを設計した。 コードはhttps://github.com/amirbalef/is_one_layer_enoughで公開されている。

関連論文リスト

• TabPFN Through The Looking Glass: An interpretability study of TabPFN and its internal representations [1.3986052226424095]
  モデルに隠された表現の内部に符号化された情報を解析する。 我々は,モデルの予測過程に関わる中間量と最終量の両方に対応する明確な信号を観察した。
  論文  参考訳（メタデータ） (2026-01-13T03:14:25Z)
• Large EEG-U-Transformer for Time-Step Level Detection Without Pre-Training [1.3254304182988286]
  局所的特徴と大域的特徴の両方を捉えることで表現を効率的に学習する単純なU字モデルを提案する。 他のウィンドウレベルの分類モデルと比較して,本手法は時間段階の予測を直接出力する。 我々のモデルは、てんかんおよび他の神経疾患における人工知能に関する国際会議において、2025年の第1回「青信号検出チャレンジ」で優勝した。
  論文  参考訳（メタデータ） (2025-04-01T01:33:42Z)
• Rethinking Weight-Averaged Model-merging [15.2881959315021]
  モデルマージ(特に重量平均化)は、計算を節約し、追加のトレーニングなしでモデル性能を向上させるという驚くべき効果を示した。 本研究では,解釈可能性のレンズを通した平均的な重み付けモデルを再解釈し,その挙動を規定するメカニズムに関する実証的な知見を提供する。
  論文  参考訳（メタデータ） (2024-11-14T08:02:14Z)
• Revisiting Nearest Neighbor for Tabular Data: A Deep Tabular Baseline Two Decades Later [76.66498833720411]
  K$-nearest neighbors (KNN) はもともと,インスタンス間のセマンティックな類似性を捉えるために線形投影を学習するために設計されたものだ。 意外なことに、SGDを用いたNAAの実装と次元減少のない実装は、表データの良好な性能をすでに達成しています。 本稿では、損失関数、予測戦略、深いアーキテクチャなど、これらの改善の背景にある要因を分析して、論文を締めくくる。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。