論文の概要: TableLoRA: Low-rank Adaptation on Table Structure Understanding for Large Language Models

• arxiv url: http://arxiv.org/abs/2503.04396v1
• Date: Thu, 06 Mar 2025 12:50:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 16:00:14.756650
• Title: TableLoRA: Low-rank Adaptation on Table Structure Understanding for Large Language Models
• Title（参考訳）: TableLoRA: 大規模言語モデルに対するテーブル構造理解のための低ランク適応
• Authors: Xinyi He, Yihao Liu, Mengyu Zhou, Yeye He, Haoyu Dong, Shi Han, Zejian Yuan, Dongmei Zhang,
• Abstract要約: TableLoRA は、PEFT における LLM のテーブル構造理解を改善するために設計されたモジュールである。 テーブルを特別なトークンエンコーダでシリアライズするための特別なトークンを組み込み、2D LoRAを使ってセル位置の低ランク情報をエンコードする。
• 参考スコア（独自算出の注目度）: 57.005158277893194
• License:
• Abstract: Tabular data are crucial in many fields and their understanding by large language models (LLMs) under high parameter efficiency paradigm is important. However, directly applying parameter-efficient fine-tuning (PEFT) techniques to tabular tasks presents significant challenges, particularly in terms of better table serialization and the representation of two-dimensional structured information within a one-dimensional sequence. To address this, we propose TableLoRA, a module designed to improve LLMs' understanding of table structure during PEFT. It incorporates special tokens for serializing tables with special token encoder and uses 2D LoRA to encode low-rank information on cell positions. Experiments on four tabular-related datasets demonstrate that TableLoRA consistently outperforms vanilla LoRA and surpasses various table encoding methods tested in control experiments. These findings reveal that TableLoRA, as a table-specific LoRA, enhances the ability of LLMs to process tabular data effectively, especially in low-parameter settings, demonstrating its potential as a robust solution for handling table-related tasks.
• Abstract（参考訳）: タブラルデータは,多くの分野において重要であり,高いパラメータ効率のパラダイムの下での大規模言語モデル(LLM)による理解が重要である。 しかし、パラメータ効率のよい微調整(PEFT)技術を直接表計算タスクに適用すると、特にテーブルのシリアライゼーションの改善や1次元配列内の2次元構造化情報の表現において、大きな課題が生じる。 そこで本研究では,PEFTにおけるLLMのテーブル構造理解を改善するためのモジュールであるTableLoRAを提案する。 テーブルを特別なトークンエンコーダでシリアライズするための特別なトークンを組み込み、2D LoRAを使ってセル位置の低ランク情報をエンコードする。 4つの表関係データセットの実験は、TableLoRAがバニラロラを一貫して上回り、制御実験でテストされた様々なテーブルエンコーディング手法を上回っていることを示している。 これらの結果から、テーブル固有のLoRAであるTableLoRAは、特に低パラメータ設定において表データ処理を効果的に行う能力を高め、テーブル関連タスクを扱う堅牢なソリューションとしての可能性を示している。

関連論文リスト

• TableRAG: Million-Token Table Understanding with Language Models [53.039560091592215]
  TableRAG(TableRAG)は、LMベースのテーブル理解用に特別に設計された検索拡張生成(RAG)フレームワークである。 TableRAGは、スキーマとセル検索を組み合わせたクエリ拡張を活用して、LMにそれを提供する前に重要な情報をピンポイントする。 以上の結果から,TableRAGは検索精度が向上し,大規模テーブル理解における最先端性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-10-07T04:15:02Z)
• 2D-TPE: Two-Dimensional Positional Encoding Enhances Table Understanding for Large Language Models [48.123582712115336]
  既存の方法はしばしば2次元のテーブル構造をトークンの列に平らにする。 2D-TPEは、計算効率を保ちながら本質的な空間情報を失うリスクを効果的に軽減する。 5つのベンチマークによる大規模な実験は、2D-TPEが強いベースラインより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-29T13:16:37Z)
• TART: An Open-Source Tool-Augmented Framework for Explainable Table-based Reasoning [61.14586098005874]
  現在のLarge Language Models (LLM) は、テーブル構造を理解し、正確な数値推論を適用する能力に制限がある。 LLMと特殊なツールを統合するTART(Tool-Augmented Reasoning framework for Tables)を紹介した。 TARTには、正確なデータ表現を保証するテーブルフォーマッター、特定の計算ツールを開発するツールメーカー、説明可能性を維持するための説明ジェネレータの3つの重要なコンポーネントが含まれている。
  論文  参考訳（メタデータ） (2024-09-18T06:19:59Z)
• NormTab: Improving Symbolic Reasoning in LLMs Through Tabular Data Normalization [6.253771639590562]
  我々は,Webテーブルの正規化によるLarge Language Models(LLMs)のシンボリック推論性能の向上を目的としたフレームワークであるNormTabを紹介した。 表データのシンボリック推論を支援するために, LLMを用いてテーブル正規化を1回1回1回前処理ステップとして検討する。 WikiTableQuestion や TabFact などの Web テーブルデータセットを用いた実験により,NormTab の活用がシンボル推論性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-06-25T22:40:03Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• HeLM: Highlighted Evidence augmented Language Model for Enhanced Table-to-Text Generation [7.69801337810352]
  LLaMA2モデル上でパラメータ効率の良い微調整を行う。 我々のアプローチは、テーブル固有の行データを強調することにより、推論情報を入力に注入することである。 FetaQAデータセットとQTSummデータセットの両方で、我々のアプローチは最先端の結果を得た。
  論文  参考訳（メタデータ） (2023-11-15T12:02:52Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。