論文の概要: A Closer Look into LLMs for Table Understanding

• arxiv url: http://arxiv.org/abs/2603.15402v1
• Date: Mon, 16 Mar 2026 15:16:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.529296
• Title: A Closer Look into LLMs for Table Understanding
• Title（参考訳）: テーブル理解のためのLCMについて
• Authors: Jia Wang, Chuanyu Qin, Mingyu Zheng, Qingyi Si, Peize Li, Zheng Lin,
• Abstract要約: 本研究では,Large Language Models (LLM) がテーブルデータをどのように理解し,下流のタスクを実行するかを検討する。 本分析では,アテンションダイナミクス,有効層深度,エキスパートアクティベーション,入力設計の影響など,4つの次元に着目した。 これらの発見と洞察が、テーブル関連タスクの解釈可能性や今後の研究を促進することを願っている。
• 参考スコア（独自算出の注目度）: 17.532788520580183
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the success of Large Language Models (LLMs) in table understanding, their internal mechanisms remain unclear. In this paper, we conduct an empirical study on 16 LLMs, covering general LLMs, specialist tabular LLMs, and Mixture-of-Experts (MoE) models, to explore how LLMs understand tabular data and perform downstream tasks. Our analysis focus on 4 dimensions including the attention dynamics, the effective layer depth, the expert activation, and the impacts of input designs. Key findings include: (1) LLMs follow a three-phase attention pattern -- early layers scan the table broadly, middle layers localize relevant cells, and late layers amplify their contributions; (2) tabular tasks require deeper layers than math reasoning to reach stable predictions; (3) MoE models activate table-specific experts in middle layers, with early and late layers sharing general-purpose experts; (4) Chain-of-Thought prompting increases table attention, further enhanced by table-tuning. We hope these findings and insights can facilitate interpretability and future research on table-related tasks.
• Abstract（参考訳）: 表理解におけるLarge Language Models (LLM) の成功にもかかわらず、その内部メカニズムは未だ不明である。 本稿では,16のLLMについて実証的研究を行い,一般のLLM,専門の表計算用LLM,Mixture-of-Experts(MoE)モデルを取り上げ,LLMが表計算データをどのように理解し,下流のタスクを実行するかを検討する。 本分析では,アテンションダイナミクス,有効層深度,エキスパートアクティベーション,入力設計の影響など,4つの次元に着目した。 1) LLMは3段階の注意パターンに従う -- 初期層はテーブルを広くスキャンし、中層は関係する細胞をローカライズし、後期層はその貢献を増幅する; 2) 表計算タスクは、安定な予測に達するために数学的な推論よりも深い層を必要とする; 3) MoEモデルは、中間層でテーブル固有の専門家を活性化し、早期層と後期層は汎用的な専門家を共有する; (4) テーブルの注意を増し、テーブルのチューニングによってさらに強化する。 これらの発見と洞察が、テーブル関連タスクの解釈可能性や今後の研究を促進することを願っている。

関連論文リスト

• Truly Assessing Fluid Intelligence of Large Language Models through Dynamic Reasoning Evaluation [106.17986469245302]
  大きな言語モデル(LLM)は、人間のような思考を反映する印象的な推論能力を示している。 既存の推論ベンチマークでは、ドメイン固有の知識(結晶化インテリジェンス)に焦点を当てるか、解釈可能性に欠ける。 階層的認知フレームワークを基盤とした動的推論評価ベンチマークであるDRE-Benchを提案する。
  論文  参考訳（メタデータ） (2025-06-03T09:01:08Z)
• Multimodal Language Models See Better When They Look Shallower [54.5303326937134]
  マルチモーダル大言語モデル(MLLM)は、通常、事前訓練された視覚変換器(ViT)の最終層から視覚的特徴を抽出する。 MLLMの視覚層選択に関する最初の総合的研究を行い,VT層間の表現類似性を解析した。 我々は、深い層がOCRのようなセマンティックリッチなタスクに優れているのに対して、浅い層と中層の層は、きめ細かい視覚的なタスクでそれらを著しく上回っていることに気付きました。
  論文  参考訳（メタデータ） (2025-04-30T09:07:10Z)
• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• Rethinking Table Instruction Tuning [29.139828718538418]
  既存のテーブルLLMの能力を評価し、ドメイン外のテーブル理解と汎用能力の両方において顕著な低下を見出した。 LLaMA 3.1 8BインストラクタをベースとしたTAMAを導入し,テーブルタスクにおけるGPT-3.5やGPT-4に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2025-01-24T18:06:07Z)
• 60 Data Points are Sufficient to Fine-Tune LLMs for Question-Answering [50.12622877002846]
  大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。 我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。 実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2024-09-24T07:38:38Z)
• Enhancing Temporal Understanding in LLMs for Semi-structured Tables [50.59009084277447]
  我々は、大規模言語モデル(LLM)の特定の限界を特定するために、時間的データセットの包括的な分析を行う。 調査の結果,時間的時間的質問応答に特化したデータセットであるTempTabQAが強化された。 我々は,この領域におけるLLM機能を強化するために,新しいアプローチC.L.E.A.R.を導入する。
  論文  参考訳（メタデータ） (2024-07-22T20:13:10Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。