論文の概要: 2D-TPE: Two-Dimensional Positional Encoding Enhances Table Understanding for Large Language Models

• arxiv url: http://arxiv.org/abs/2409.19700v3
• Date: Fri, 18 Oct 2024 10:15:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 21:29:26.327292
• Title: 2D-TPE: Two-Dimensional Positional Encoding Enhances Table Understanding for Large Language Models
• Title（参考訳）: 2D-TPE:大規模言語モデルのための2次元位置符号化によるテーブル理解
• Authors: Jia-Nan Li, Jian Guan, Wei Wu, Zhengtao Yu, Rui Yan,
• Abstract要約: 既存の方法はしばしば2次元のテーブル構造をトークンの列に平らにする。 2D-TPEは、計算効率を保ちながら本質的な空間情報を失うリスクを効果的に軽減する。 5つのベンチマークによる大規模な実験は、2D-TPEが強いベースラインより優れていることを示している。
• 参考スコア（独自算出の注目度）: 48.123582712115336
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Tables are ubiquitous across various domains for concisely representing structured information. Empowering large language models (LLMs) to reason over tabular data represents an actively explored direction. However, since typical LLMs only support one-dimensional~(1D) inputs, existing methods often flatten the two-dimensional~(2D) table structure into a sequence of tokens, which can severely disrupt the spatial relationships and result in an inevitable loss of vital contextual information. In this paper, we first empirically demonstrate the detrimental impact of such flattening operations on the performance of LLMs in capturing the spatial information of tables through two elaborate proxy tasks. Subsequently, we introduce a simple yet effective positional encoding method, termed ``2D-TPE'' (Two-Dimensional Table Positional Encoding), to address this challenge. 2D-TPE enables each attention head to dynamically select a permutation order of tokens within the context for attending to them, where each permutation represents a distinct traversal mode for the table, such as column-wise or row-wise traversal. 2D-TPE effectively mitigates the risk of losing essential spatial information while preserving computational efficiency, thus better preserving the table structure. Extensive experiments across five benchmarks demonstrate that 2D-TPE outperforms strong baselines, underscoring the importance of preserving the table structure for accurate table comprehension. Comprehensive analysis further reveals the substantially better scalability of 2D-TPE to large tables than baselines.
• Abstract（参考訳）: テーブルは、構造化された情報を簡潔に表現するために、様々な領域にまたがってユビキタスである。 大きな言語モデル(LLM)を表データの推論に活用することは、積極的に探求された方向性を表している。 しかし、典型的なLLMは1次元〜(1D)の入力しかサポートしていないため、既存の手法では2次元〜(2D)のテーブル構造をトークンの列に平らにすることで、空間的関係を著しく破壊し、必然的に重要な文脈情報が失われてしまう。 本稿では,2つの厳密なプロキシタスクを通してテーブルの空間情報をキャプチャする際のLCMの性能に対する,そのような平坦化操作の有害な影響を実証的に実証する。 次に,この課題に対処するため,単純な位置符号化手法である ``2D-TPE' (Two-dimensional Table Positional Encoding) を導入する。 2D-TPEにより、各アテンションヘッドは、出席するコンテキスト内のトークンの置換順序を動的に選択することができる。 2D-TPEは、計算効率を保ちながら重要な空間情報を失うリスクを効果的に軽減し、テーブル構造をよりよく保存する。 5つのベンチマークによる大規模な実験により、2D-TPEは強いベースラインよりも優れており、テーブル構造を正確なテーブル理解のために保存することの重要性が強調されている。 包括的解析により、ベースラインよりも大きなテーブルに対する2D-TPEのスケーラビリティが大幅に向上することが明らかになった。

関連論文リスト

• TableRAG: Million-Token Table Understanding with Language Models [53.039560091592215]
  TableRAG(TableRAG)は、LMベースのテーブル理解用に特別に設計された検索拡張生成(RAG)フレームワークである。 TableRAGは、スキーマとセル検索を組み合わせたクエリ拡張を活用して、LMにそれを提供する前に重要な情報をピンポイントする。 以上の結果から,TableRAGは検索精度が向上し,大規模テーブル理解における最先端性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-10-07T04:15:02Z)
• TDeLTA: A Light-weight and Robust Table Detection Method based on Learning Text Arrangement [34.73880086005418]
  本稿では,学習テキストアレンジメント(TDeLTA)に基づく新しい,軽量で堅牢なテーブル検出手法を提案する。 表を正確に特定するために,表内の意味的役割に応じてテキストブロックを4つのカテゴリに分類するテキスト分類タスクを設計する。 いくつかの最先端の手法と比較して、TDeLTAは大規模な公開データセットの3.1Mモデルパラメータで競合する結果を得る。
  論文  参考訳（メタデータ） (2023-12-18T09:18:43Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• HeLM: Highlighted Evidence augmented Language Model for Enhanced Table-to-Text Generation [7.69801337810352]
  LLaMA2モデル上でパラメータ効率の良い微調整を行う。 我々のアプローチは、テーブル固有の行データを強調することにより、推論情報を入力に注入することである。 FetaQAデータセットとQTSummデータセットの両方で、我々のアプローチは最先端の結果を得た。
  論文  参考訳（メタデータ） (2023-11-15T12:02:52Z)
• SEMv2: Table Separation Line Detection Based on Instance Segmentation [96.36188168694781]
  SEMv2(SEM: Split, Embed, Merge)と呼ばれるテーブル構造認識器を提案する。 本稿では,テーブル分離ラインのインスタンスレベルの識別問題に対処し,条件付き畳み込みに基づくテーブル分離ライン検出戦略を提案する。 SEMv2を包括的に評価するために、iFLYTABと呼ばれるテーブル構造認識のためのより困難なデータセットも提示する。
  論文  参考訳（メタデータ） (2023-03-08T05:15:01Z)
• TGRNet: A Table Graph Reconstruction Network for Table Structure Recognition [76.06530816349763]
  本稿では,表構造認識のためのエンドツーエンドのトレーニング可能な表グラフ再構成ネットワーク(TGRNet)を提案する。 具体的には,異なる細胞の空間的位置と論理的位置を共同で予測するために,細胞検出枝と細胞論理的位置分岐の2つの主枝を有する。
  論文  参考訳（メタデータ） (2021-06-20T01:57:05Z)
• Multi-Type-TD-TSR -- Extracting Tables from Document Images using a Multi-stage Pipeline for Table Detection and Table Structure Recognition: from OCR to Structured Table Representations [63.98463053292982]
  テーブルの認識は、テーブル検出とテーブル構造認識という2つの主要なタスクから構成される。 最近の研究は、テーブル構造認識のタスクにトランスファーラーニングを併用したディープラーニングアプローチへの明確な傾向を示している。 本稿では,テーブル認識問題に対するエンドツーエンドのソリューションを提供するMulti-Type-TD-TSRというマルチステージパイプラインを提案する。
  論文  参考訳（メタデータ） (2021-05-23T21:17:18Z)
• Identifying Table Structure in Documents using Conditional Generative Adversarial Networks [0.0]
  多くの産業や学術研究において、情報は主に構造化されていない文書の形で伝達される。 本稿では,まず,テーブルイメージを標準化されたスケルトンテーブル形式にマッピングするために,条件付き生成逆数ネットワークを用いたトップダウンアプローチを提案する。 次に、xy-cutプロジェクションと遺伝的アルゴリズムを用いた潜在テーブル構造を導出する。
  論文  参考訳（メタデータ） (2020-01-13T20:42:40Z)
• Table Structure Extraction with Bi-directional Gated Recurrent Unit Networks [5.350788087718877]
  本稿では,検出されたテーブルから行や列を高精度に抽出する,堅牢な深層学習手法を提案する。 我々は、現在利用可能なUNLVとICDAR 2013データセットのベンチマークを行い、最先端のテーブル構造抽出システムよりも大幅に性能を向上した。
  論文  参考訳（メタデータ） (2020-01-08T13:17:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。