論文の概要: Towards Understanding Layer Contributions in Tabular In-Context Learning Models

• arxiv url: http://arxiv.org/abs/2511.15432v1
• Date: Wed, 19 Nov 2025 13:39:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.822835
• Title: Towards Understanding Layer Contributions in Tabular In-Context Learning Models
• Title（参考訳）: 語彙内学習モデルにおける層貢献の理解に向けて
• Authors: Amir Rezaei Balef, Mykhailo Koshil, Katharina Eggensperger,
• Abstract要約: 我々はTabPFNとTabICLを「画家としての層」の観点から分析する。 レイヤのサブセットだけが共通の表現言語を共有しており、構造的冗長性と解釈可能性の向上が示唆されている。
• 参考スコア（独自算出の注目度）: 2.8473361448579713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the architectural similarities between tabular in-context learning (ICL) models and large language models (LLMs), little is known about how individual layers contribute to tabular prediction. In this paper, we investigate how the latent spaces evolve across layers in tabular ICL models, identify potential redundant layers, and compare these dynamics with those observed in LLMs. We analyze TabPFN and TabICL through the "layers as painters" perspective, finding that only subsets of layers share a common representational language, suggesting structural redundancy and offering opportunities for model compression and improved interpretability.
• Abstract（参考訳）: 表層内学習(ICL)モデルと大言語モデル(LLM)のアーキテクチャ的類似性にもかかわらず、個々の層が表層予測にどのように貢献するかは分かっていない。 本稿では,グラフ状ICLモデルの層間における潜伏空間の進化について検討し,余剰層を同定し,それらのダイナミクスをLCMで観測されたものと対比する。 我々はTabPFNとTabICLを「画家としてのレイヤー」の観点から分析し、レイヤーのサブセットのみが共通の表現言語を共有し、構造的冗長性を示唆し、モデル圧縮の機会を提供し、解釈可能性を向上させることを発見した。

関連論文リスト

• Hierarchical structure understanding in complex tables with VLLMs: a benchmark and experiments [1.226598527858578]
  本研究では,VLLM(Vision Large Language Models)の科学論文における表の構造を理解し,解釈する能力について検討する。 実験の基盤として、大規模な科学表のコーパスであるPubTables-1Mデータセットを使用しました。 モデルの理解能力を探索し、様々なプロンプトフォーマットや書き方を試すために、一連のプロンプトエンジニアリング戦略を採用しています。 また、評価されたVLLMの性能と比較し、小さなテーブルの集合上でタスクを解くための人間のパフォーマンスを測定した。
  論文  参考訳（メタデータ） (2025-11-11T14:32:55Z)
• Unraveling the Localized Latents: Learning Stratified Manifold Structures in LLM Embedding Space with Sparse Mixture-of-Experts [3.9426000822656224]
  大規模な言語モデルでは、埋め込みは入力データの難易度や領域によって異なる次元の局所多様体構造に存在していると推測する。 注意に基づくソフトゲーティングネットワークを組み込むことで,我々のモデルは入力データソースのアンサンブルのために,特別なサブマニフォールドを学習することを確認した。
  論文  参考訳（メタデータ） (2025-02-19T09:33:16Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。 本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• Revisiting Nearest Neighbor for Tabular Data: A Deep Tabular Baseline Two Decades Later [76.66498833720411]
  K$-nearest neighbors (KNN) はもともと,インスタンス間のセマンティックな類似性を捉えるために線形投影を学習するために設計されたものだ。 意外なことに、SGDを用いたNAAの実装と次元減少のない実装は、表データの良好な性能をすでに達成しています。 本稿では、損失関数、予測戦略、深いアーキテクチャなど、これらの改善の背景にある要因を分析して、論文を締めくくる。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
  本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。 提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。 実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:00:04Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。