論文の概要: Is One Layer Enough? Understanding Inference Dynamics in Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2605.06510v1
• Date: Thu, 07 May 2026 16:22:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.991332
• Title: Is One Layer Enough? Understanding Inference Dynamics in Tabular Foundation Models
• Title（参考訳）: 一つの層は十分か?-タブラル基礎モデルにおける推論ダイナミクスの理解
• Abstract要約: 本研究は,6種類のテクスチャ内テキスト学習モデルにおける階層的力学の大規模研究である。 以上の結果から,複数のモデルにまたがる奥行きの冗長性が示唆された。 本稿では,従来のモデルのパラメータの20%しか使用せず,同等の性能を実現した概念実証ループ単一層モデルを設計する。
• 参考スコア（独自算出の注目度）: 2.8473361448579713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based tabular foundation models (TFMs) dominate small to medium tabular predictive benchmark tasks, yet their inference mechanisms remain largely unexplored. We present the first large-scale mechanistic study of layerwise dynamics in 6 state-of-the-art tabular in-context learning models. We explore how predictions emerge across depth, identify distinct stages of inference and reveal latent-space dynamics that differ from those of language models. Our findings indicate substantial depthwise redundancy across multiple models, suggesting iterative refinement with overlapping computations during inference stages. Guided by these insights, we design a proof-of-concept, looped single-layer model that uses only 20% of the original model's parameters while achieving comparable performance. The code is available at https://github.com/amirbalef/is_one_layer_enough.
• Abstract（参考訳）: Transformer-based tabular foundation model (TFMs) は、小～中程度の表形式予測ベンチマークタスクを支配しているが、その推論機構はほとんど解明されていない。 本研究は,6種類のテクスチャ内テキスト学習モデルにおける階層的力学の大規模研究である。 本研究では,言語モデルと異なる潜在空間のダイナミクスを明らかにするとともに,予測が深度にわたってどのように現れるのかを考察する。 以上の結果から,複数のモデルにまたがる奥行きの冗長性が示唆された。 これらの知見に導かれ、我々は、オリジナルのモデルのパラメータの20%しか使用せず、同等のパフォーマンスを達成できる概念実証ループ単一層モデルを設計した。 コードはhttps://github.com/amirbalef/is_one_layer_enoughで公開されている。

関連論文リスト

• TabPFN Through The Looking Glass: An interpretability study of TabPFN and its internal representations [1.3986052226424095]
  モデルに隠された表現の内部に符号化された情報を解析する。 我々は,モデルの予測過程に関わる中間量と最終量の両方に対応する明確な信号を観察した。
  論文  参考訳（メタデータ） (2026-01-13T03:14:25Z)
• Large EEG-U-Transformer for Time-Step Level Detection Without Pre-Training [1.3254304182988286]
  局所的特徴と大域的特徴の両方を捉えることで表現を効率的に学習する単純なU字モデルを提案する。 他のウィンドウレベルの分類モデルと比較して,本手法は時間段階の予測を直接出力する。 我々のモデルは、てんかんおよび他の神経疾患における人工知能に関する国際会議において、2025年の第1回「青信号検出チャレンジ」で優勝した。
  論文  参考訳（メタデータ） (2025-04-01T01:33:42Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Rethinking Weight-Averaged Model-merging [15.2881959315021]
  モデルマージ(特に重量平均化)は、計算を節約し、追加のトレーニングなしでモデル性能を向上させるという驚くべき効果を示した。 本研究では,解釈可能性のレンズを通した平均的な重み付けモデルを再解釈し,その挙動を規定するメカニズムに関する実証的な知見を提供する。
  論文  参考訳（メタデータ） (2024-11-14T08:02:14Z)
• Revisiting Nearest Neighbor for Tabular Data: A Deep Tabular Baseline Two Decades Later [76.66498833720411]
  K$-nearest neighbors (KNN) はもともと,インスタンス間のセマンティックな類似性を捉えるために線形投影を学習するために設計されたものだ。 意外なことに、SGDを用いたNAAの実装と次元減少のない実装は、表データの良好な性能をすでに達成しています。 本稿では、損失関数、予測戦略、深いアーキテクチャなど、これらの改善の背景にある要因を分析して、論文を締めくくる。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• LaCo: Large Language Model Pruning via Layer Collapse [56.92068213969036]
  トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。 モデル量子化、知識蒸留、モデルプルーニングといった既存の手法は、様々な問題によって制約されている。 後部モデル層が前層に崩壊する「textitLayer Collapse (LaCo)」と呼ばれる簡潔な層構造プルーナーを提案する。
  論文  参考訳（メタデータ） (2024-02-17T04:16:30Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Bayesian Beta-Bernoulli Process Sparse Coding with Deep Neural Networks [11.937283219047984]
  深部離散潜在変数モデルに対して近似的推論法が提案されている。 このような深層モデルの離散潜在表現を学習するための非パラメトリック反復アルゴリズムを提案する。 提案手法は,異なる特徴を持つデータセット間で評価し,その結果を現在の補正近似推定法と比較する。
  論文  参考訳（メタデータ） (2023-03-14T20:50:12Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Consistent Counterfactuals for Deep Models [25.1271020453651]
  ファクトファクトの例は、金融や医療診断といった重要な領域における機械学習モデルの予測を説明するために使用される。 本稿では,初期訓練条件に小さな変更を加えた深層ネットワークにおける実例に対するモデル予測の整合性について検討する。
  論文  参考訳（メタデータ） (2021-10-06T23:48:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。