論文の概要: NeedleInATable: Exploring Long-Context Capability of Large Language Models towards Long-Structured Tables

• arxiv url: http://arxiv.org/abs/2504.06560v1
• Date: Wed, 09 Apr 2025 03:46:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:06:48.239671
• Title: NeedleInATable: Exploring Long-Context Capability of Large Language Models towards Long-Structured Tables
• Title（参考訳）: NeedleInATable: 長期構造テーブルに向けた大規模言語モデルの長期能力を探る
• Authors: Lanrui Wang, Mingyu Zheng, Hongyin Tang, Zheng Lin, Yanan Cao, Jingang Wang, Xunliang Cai, Weiping Wang,
• Abstract要約: NeedleInATable (NIAT) は、各テーブルセルを"ニードル"として扱い、異なるクエリでターゲットセルを抽出するモデルを必要とする新しいタスクである。 本稿では,モデルの長期理解能力を高めるためのデータ合成手法を提案する。
• 参考スコア（独自算出の注目度）: 32.9031799179503
• License:
• Abstract: Processing structured tabular data, particularly lengthy tables, constitutes a fundamental yet challenging task for large language models (LLMs). However, existing long-context benchmarks primarily focus on unstructured text, neglecting the challenges of long and complex structured tables. To address this gap, we introduce NeedleInATable (NIAT), a novel task that treats each table cell as a "needle" and requires the model to extract the target cell under different queries. Evaluation results of mainstream LLMs on this benchmark show they lack robust long-table comprehension, often relying on superficial correlations or shortcuts for complex table understanding tasks, revealing significant limitations in processing intricate tabular data. To this end, we propose a data synthesis method to enhance models' long-table comprehension capabilities. Experimental results show that our synthesized training data significantly enhances LLMs' performance on the NIAT task, outperforming both long-context LLMs and long-table agent methods. This work advances the evaluation of LLMs' genuine long-structured table comprehension capabilities and paves the way for progress in long-context and table understanding applications.
• Abstract（参考訳）: 構造化表データ、特に長大なテーブルを処理することは、大規模言語モデル(LLM)の基本的な課題である。 しかし、既存の長期コンテキストベンチマークは主に構造化されていないテキストに焦点を当てており、長く複雑な構造化テーブルの課題を無視している。 このギャップに対処するために、我々は、各テーブルセルを"needle"として扱う新しいタスクであるNeedleInATable (NIAT)を導入し、異なるクエリでターゲットセルを抽出する必要がある。 このベンチマークにおけるLLMの評価結果は、しばしば複雑な表理解タスクに表面的相関やショートカットを頼りにし、複雑な表データの処理に重大な制限があることを示し、堅牢な長期的理解を欠いていることを示している。 そこで本研究では,モデルの長期理解能力を高めるためのデータ合成手法を提案する。 実験結果から, NIATタスク上でのLLMの性能は, 長文LLMと長文エージェントの両方に優れることがわかった。 この研究は、LLMの真の長い構造化テーブル理解能力の評価を前進させ、長期コンテキストおよびテーブル理解アプリケーションにおける進歩の道を開く。

関連論文リスト

• Tree-of-Table: Unleashing the Power of LLMs for Enhanced Large-Scale Table Understanding [42.841205217768106]
  トレー・オブ・タブル(Tree-of-Table)は、LLMが大規模で複雑なテーブル上での推論能力を高めるために設計された新しいアプローチである。 Tree-of-Tableは優れた性能を持つ新しいベンチマークをセットし、大規模テーブル推論における顕著な効率性と一般化能力を示す。
  論文  参考訳（メタデータ） (2024-11-13T11:02:04Z)
• FltLM: An Intergrated Long-Context Large Language Model for Effective Context Filtering and Understanding [32.197113821638936]
  我々は,新しいLong-Context Large Language Model (FltLM)を提案する。 FltLMはコンテキストフィルタをソフトマスク機構に組み込み、関連する情報に集中するために無関係な内容を特定し、動的に排除する。 実験の結果,複雑なQAシナリオにおいて,FltLMは教師付き微調整法や検索法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-09T13:47:50Z)
• TableRAG: Million-Token Table Understanding with Language Models [53.039560091592215]
  TableRAG(TableRAG)は、LMベースのテーブル理解用に特別に設計された検索拡張生成(RAG)フレームワークである。 TableRAGは、スキーマとセル検索を組み合わせたクエリ拡張を活用して、LMにそれを提供する前に重要な情報をピンポイントする。 以上の結果から,TableRAGは検索精度が向上し,大規模テーブル理解における最先端性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-10-07T04:15:02Z)
• Enhancing Temporal Understanding in LLMs for Semi-structured Tables [50.59009084277447]
  我々は、大規模言語モデル(LLM)の特定の限界を特定するために、時間的データセットの包括的な分析を行う。 調査の結果,時間的時間的質問応答に特化したデータセットであるTempTabQAが強化された。 我々は,この領域におけるLLM機能を強化するために,新しいアプローチC.L.E.A.R.を導入する。
  論文  参考訳（メタデータ） (2024-07-22T20:13:10Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools [51.576974932743596]
  大規模言語モデル(LLM)は、テキスト間の情報の集約を必要とするクエリではよく機能しないことが多い。 TACTには、1つ以上のテキストに散らばる縫合情報を要求する難しい命令が含まれている。 既存のテキストと関連するテーブルのデータセットを活用することで、このデータセットを構築します。 現代のLLMはいずれも,このデータセットでは性能が悪く,精度が38%以下であることが実証された。
  論文  参考訳（メタデータ） (2024-06-05T20:32:56Z)
• Long Context Alignment with Short Instructions and Synthesized Positions [56.1267385315404]
  本稿では,ステップスキッピングアライメント(SkipAlign)を紹介する。 これは、Large Language Models(LLMs)の長期コンテキスト機能を強化するために設計された新しい技術である。 ベースモデルとアライメントデータセットを慎重に選択することで、SkipAlignは6Bパラメータだけで最高のパフォーマンスを実現し、LongBenchのGPT-3.5-Turbo-16Kのような強力なベースラインに匹敵する。
  論文  参考訳（メタデータ） (2024-05-07T01:56:22Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• LooGLE: Can Long-Context Language Models Understand Long Contexts? [46.143956498529796]
  LooGLEは、大規模言語モデルの長いコンテキスト理解のためのベンチマークである。 2022年以降に比較的新しい文書が登場し、1ドキュメントあたり24,000以上のトークンと、さまざまな領域にまたがる6,000の新たな質問が提供されている。 LooGLEにおける8つの最先端LCMの評価から,重要な所見が得られた。
  論文  参考訳（メタデータ） (2023-11-08T01:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。