論文の概要: Rethinking Table Instruction Tuning

• arxiv url: http://arxiv.org/abs/2501.14693v1
• Date: Fri, 24 Jan 2025 18:06:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:58:25.025300
• Title: Rethinking Table Instruction Tuning
• Title（参考訳）: テーブルインストラクションチューニングの再考
• Authors: Naihao Deng, Rada Mihalcea,
• Abstract要約: 既存のテーブルLLMの能力を評価し、ドメイン外のテーブル理解と汎用能力の両方において顕著な低下を明らかにした。 LLaMA 3.1 8BインストラクタをベースとしたTAMAを導入し,テーブルタスクにおけるGPT-3.5やGPT-4に匹敵する性能を実現する。
• 参考スコア（独自算出の注目度）: 29.139828718538418
• License:
• Abstract: Recent advances in table understanding have focused on instruction-tuning large language models (LLMs) for table-related tasks. However, existing research has overlooked the impact of hyperparameter choices and lacks a comprehensive evaluation of the out-of-domain table understanding ability and the general capabilities of these table LLMs. In this paper, we evaluate these abilities in existing table LLMs, and reveal significant declines in both out-of-domain table understanding and general capabilities compared to their base models. Through systematic analysis, we show that hyperparameters, such as learning rate, can significantly influence both table-specific and general capabilities. Contrary to the existing table instruction-tuning works, we demonstrate that smaller learning rates and fewer training instances can enhance table understanding while preserving general capabilities. Based on our findings, we introduce TAMA, a TAble LLM instruction-tuned from LLaMA 3.1 8B Instruct, which achieves performance on par with, or surpassing GPT-3.5 and GPT-4 on table tasks, while maintaining strong out-of-domain generalization and general capabilities. Our findings highlight the potential for reduced data annotation costs and more efficient model development through careful hyperparameter selection.
• Abstract（参考訳）: テーブル理解の最近の進歩は、テーブル関連タスクのための命令調整大型言語モデル(LLM)に焦点を当てている。 しかし、既存の研究では、ハイパーパラメータの選択の影響を見落としており、ドメイン外のテーブル理解能力とこれらのテーブルLLMの汎用能力の包括的な評価が欠如している。 本稿では,既存のテーブルLLMにおけるこれらの能力を評価するとともに,ドメイン外テーブル理解と基本モデルと比較して汎用能力の両方が著しく低下していることを明らかにする。 系統的な分析により,学習率などのハイパーパラメータが表特化能力と一般能力の両方に大きく影響を与えることを示す。 既存のテーブル命令チューニング作業とは対照的に,学習率の低下と学習インスタンスの減少により,汎用性を維持しながらテーブル理解が向上することが実証された。 LLaMA 3.1 8BインストラクタをベースとしたTAMAを導入し,テーブルタスクにおけるGPT-3.5やGPT-4と同等あるいは同等の性能を実現し,ドメイン外一般化と汎用性を維持した。 本研究は,データアノテーションのコスト削減と,注意深いハイパーパラメータ選択によるモデル開発の可能性を明らかにする。

関連論文リスト

• TabM: Advancing Tabular Deep Learning with Parameter-Efficient Ensembling [28.37672139176765]
  TabM -- BatchEnemblesのバリエーション(既存のテクニック)に基づいたシンプルなモデルです。 特に,TabMは表型DLモデルの中で最高の性能を示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:41Z)
• TableRAG: Million-Token Table Understanding with Language Models [53.039560091592215]
  TableRAG(TableRAG)は、LMベースのテーブル理解用に特別に設計された検索拡張生成(RAG)フレームワークである。 TableRAGは、スキーマとセル検索を組み合わせたクエリ拡張を活用して、LMにそれを提供する前に重要な情報をピンポイントする。 以上の結果から,TableRAGは検索精度が向上し,大規模テーブル理解における最先端性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-10-07T04:15:02Z)
• TART: An Open-Source Tool-Augmented Framework for Explainable Table-based Reasoning [61.14586098005874]
  現在のLarge Language Models (LLM) は、テーブル構造を理解し、正確な数値推論を適用する能力に制限がある。 LLMと特殊なツールを統合するTART(Tool-Augmented Reasoning framework for Tables)を紹介した。 TARTには、正確なデータ表現を保証するテーブルフォーマッター、特定の計算ツールを開発するツールメーカー、説明可能性を維持するための説明ジェネレータの3つの重要なコンポーネントが含まれている。
  論文  参考訳（メタデータ） (2024-09-18T06:19:59Z)
• ALTER: Augmentation for Large-Table-Based Reasoning [5.164923314261229]
  ALTER(Augmentation for Large-Table-Based Reasoning)は、NL (Free-form Natural Language) とNL (Augmentation for Large-Table-Based Reasoning) の双方の質問において、潜在的な拡張可能性を活用するために設計されたフレームワークである。 テーブルからの関連データの小さなサブセットのみを利用することで、ALTERはテーブルベースの推論ベンチマークで優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-03T12:34:45Z)
• TabPedia: Towards Comprehensive Visual Table Understanding with Concept Synergy [81.76462101465354]
  本稿では,概念相乗効果機構を備えた新しい大型視触覚モデルTabPediaを提案する。 この統合されたフレームワークにより、TabPediaはテーブル検出、テーブル構造認識、テーブルクエリ、テーブル質問応答などのVTUタスクをシームレスに統合できる。 実世界のシナリオにおけるVTUタスクをよりよく評価するために、新しい総合的なテーブルVQAベンチマークComTQAを構築した。
  論文  参考訳（メタデータ） (2024-06-03T13:54:05Z)
• A Survey of Table Reasoning with Large Language Models [55.2326738851157]
  大規模言語モデル(LLM)の使用は、テーブル推論の主流となる。 LLM時代におけるテーブル推論性能の向上に使用される主流技術について分析する。 本研究は,既存手法の改良と実用化の拡充の両面から研究の方向性を示す。
  論文  参考訳（メタデータ） (2024-02-13T07:17:52Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• TableGPT: Towards Unifying Tables, Nature Language and Commands into One GPT [19.57099486334867]
  TableGPTは、大きな言語モデル(LLM)が外部機能コマンドを使用してテーブル上で理解し、操作できるようにするフレームワークである。 TableGPTは、ユーザに対して、テーブルデータを活用することによって、利便性とアクセシビリティを提供することを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T17:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。