論文の概要: 2D-TPE: Two-Dimensional Positional Encoding Enhances Table Understanding for Large Language Models

• arxiv url: http://arxiv.org/abs/2409.19700v1
• Date: Sun, 29 Sep 2024 13:16:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:05:05.030545
• Title: 2D-TPE: Two-Dimensional Positional Encoding Enhances Table Understanding for Large Language Models
• Title（参考訳）: 2D-TPE:大規模言語モデルのための2次元位置符号化によるテーブル理解
• Authors: Jia-Nan Li, Jian Guan, Wei Wu, Zhengtao Yu, Rui Yan,
• Abstract要約: 既存の方法はしばしば2次元のテーブル構造をトークンの列に平らにする。 2D-TPEは、計算効率を保ちながら本質的な空間情報を失うリスクを効果的に軽減する。 5つのベンチマークによる大規模な実験は、2D-TPEが強いベースラインより優れていることを示している。
• 参考スコア（独自算出の注目度）: 48.123582712115336
• License:
• Abstract: Tables are ubiquitous across various domains for concisely representing structured information. Empowering large language models (LLMs) to reason over tabular data represents an actively explored direction. However, since typical LLMs only support one-dimensional~(1D) inputs, existing methods often flatten the two-dimensional~(2D) table structure into a sequence of tokens, which can severely disrupt the spatial relationships and result in an inevitable loss of vital contextual information. In this paper, we first empirically demonstrate the detrimental impact of such flattening operations on the performance of LLMs in capturing the spatial information of tables through two elaborate proxy tasks. Subsequently, we introduce a simple yet effective positional encoding method, termed ``2D-TPE'' (Two-Dimensional Table Positional Encoding), to address this challenge. 2D-TPE enables each attention head to dynamically select a permutation order of tokens within the context for attending to them, where each permutation represents a distinct traversal mode for the table, such as column-wise or row-wise traversal. 2D-TPE effectively mitigates the risk of losing essential spatial information while preserving computational efficiency, thus better preserving the table structure. Extensive experiments across five benchmarks demonstrate that 2D-TPE outperforms strong baselines, underscoring the importance of preserving the table structure for accurate table comprehension. Comprehensive analysis further reveals the substantially better scalability of 2D-TPE to large tables than baselines.
• Abstract（参考訳）: テーブルは、構造化された情報を簡潔に表現するために、様々な領域にまたがってユビキタスである。 大きな言語モデル(LLM)を表データの推論に活用することは、積極的に探求された方向性を表している。 しかし、典型的なLLMは1次元〜(1D)の入力しかサポートしていないため、既存の手法では2次元〜(2D)のテーブル構造をトークンの列に平らにすることで、空間的関係を著しく破壊し、必然的に重要な文脈情報が失われてしまう。 本稿では,2つの厳密なプロキシタスクを通してテーブルの空間情報をキャプチャする際のLCMの性能に対する,そのような平坦化操作の有害な影響を実証的に実証する。 次に,この課題に対処するため,単純な位置符号化手法である ``2D-TPE' (Two-dimensional Table Positional Encoding) を導入する。 2D-TPEにより、各アテンションヘッドは、出席するコンテキスト内のトークンの置換順序を動的に選択することができる。 2D-TPEは、計算効率を保ちながら重要な空間情報を失うリスクを効果的に軽減し、テーブル構造をよりよく保存する。 5つのベンチマークによる大規模な実験により、2D-TPEは強いベースラインよりも優れており、テーブル構造を正確なテーブル理解のために保存することの重要性が強調されている。 包括的解析により、ベースラインよりも大きなテーブルに対する2D-TPEのスケーラビリティが大幅に向上することが明らかになった。

関連論文リスト

• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [58.11442663694328]
  テーブルプロンプトを生成するための多用途前処理ツールボックスとして,TAP4LLMを提案する。 各モジュールにおいて、様々なシナリオで使用されるいくつかの一般的なメソッドを収集し、設計する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• HeLM: Highlighted Evidence augmented Language Model for Enhanced Table-to-Text Generation [7.69801337810352]
  LLaMA2モデル上でパラメータ効率の良い微調整を行う。 我々のアプローチは、テーブル固有の行データを強調することにより、推論情報を入力に注入することである。 FetaQAデータセットとQTSummデータセットの両方で、我々のアプローチは最先端の結果を得た。
  論文  参考訳（メタデータ） (2023-11-15T12:02:52Z)
• SEMv2: Table Separation Line Detection Based on Instance Segmentation [96.36188168694781]
  SEMv2(SEM: Split, Embed, Merge)と呼ばれるテーブル構造認識器を提案する。 本稿では,テーブル分離ラインのインスタンスレベルの識別問題に対処し,条件付き畳み込みに基づくテーブル分離ライン検出戦略を提案する。 SEMv2を包括的に評価するために、iFLYTABと呼ばれるテーブル構造認識のためのより困難なデータセットも提示する。
  論文  参考訳（メタデータ） (2023-03-08T05:15:01Z)
• TGRNet: A Table Graph Reconstruction Network for Table Structure Recognition [76.06530816349763]
  本稿では,表構造認識のためのエンドツーエンドのトレーニング可能な表グラフ再構成ネットワーク(TGRNet)を提案する。 具体的には,異なる細胞の空間的位置と論理的位置を共同で予測するために,細胞検出枝と細胞論理的位置分岐の2つの主枝を有する。
  論文  参考訳（メタデータ） (2021-06-20T01:57:05Z)
• Multi-Type-TD-TSR -- Extracting Tables from Document Images using a Multi-stage Pipeline for Table Detection and Table Structure Recognition: from OCR to Structured Table Representations [63.98463053292982]
  テーブルの認識は、テーブル検出とテーブル構造認識という2つの主要なタスクから構成される。 最近の研究は、テーブル構造認識のタスクにトランスファーラーニングを併用したディープラーニングアプローチへの明確な傾向を示している。 本稿では,テーブル認識問題に対するエンドツーエンドのソリューションを提供するMulti-Type-TD-TSRというマルチステージパイプラインを提案する。
  論文  参考訳（メタデータ） (2021-05-23T21:17:18Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)
• Identifying Table Structure in Documents using Conditional Generative Adversarial Networks [0.0]
  多くの産業や学術研究において、情報は主に構造化されていない文書の形で伝達される。 本稿では,まず,テーブルイメージを標準化されたスケルトンテーブル形式にマッピングするために,条件付き生成逆数ネットワークを用いたトップダウンアプローチを提案する。 次に、xy-cutプロジェクションと遺伝的アルゴリズムを用いた潜在テーブル構造を導出する。
  論文  参考訳（メタデータ） (2020-01-13T20:42:40Z)
• Table Structure Extraction with Bi-directional Gated Recurrent Unit Networks [5.350788087718877]
  本稿では,検出されたテーブルから行や列を高精度に抽出する,堅牢な深層学習手法を提案する。 我々は、現在利用可能なUNLVとICDAR 2013データセットのベンチマークを行い、最先端のテーブル構造抽出システムよりも大幅に性能を向上した。
  論文  参考訳（メタデータ） (2020-01-08T13:17:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。