論文の概要: MATE: Multi-view Attention for Table Transformer Efficiency

• arxiv url: http://arxiv.org/abs/2109.04312v1
• Date: Thu, 9 Sep 2021 14:39:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-10 14:37:28.113120
• Title: MATE: Multi-view Attention for Table Transformer Efficiency
• Title（参考訳）: MATE: テーブルトランス効率のためのマルチビューアテンション
• Authors: Julian Martin Eisenschlos, Maharshi Gor, Thomas M\"uller, William W. Cohen
• Abstract要約: ウェブ上のリレーショナルテーブルの20%以上が20行以上の行を持っている。 現在のTransformerモデルは一般的に512トークンに制限されている。 本稿では,Webテーブルの構造をモデル化する新しいトランスフォーマーアーキテクチャであるMATEを提案する。
• 参考スコア（独自算出の注目度）: 21.547074431324024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work presents a sparse-attention Transformer architecture for modeling documents that contain large tables. Tables are ubiquitous on the web, and are rich in information. However, more than 20% of relational tables on the web have 20 or more rows (Cafarella et al., 2008), and these large tables present a challenge for current Transformer models, which are typically limited to 512 tokens. Here we propose MATE, a novel Transformer architecture designed to model the structure of web tables. MATE uses sparse attention in a way that allows heads to efficiently attend to either rows or columns in a table. This architecture scales linearly with respect to speed and memory, and can handle documents containing more than 8000 tokens with current accelerators. MATE also has a more appropriate inductive bias for tabular data, and sets a new state-of-the-art for three table reasoning datasets. For HybridQA (Chen et al., 2020b), a dataset that involves large documents containing tables, we improve the best prior result by 19 points.
• Abstract（参考訳）: 本研究では,大きなテーブルを含む文書をモデル化するスパースアテンショントランスフォーマーアーキテクチャを提案する。 テーブルはウェブ上でユビキタスであり、情報に富んでいる。 しかし、Web上のリレーショナルテーブルの20%以上が20行以上の行を持つ(Cafarella et al., 2008)。 本稿では,Webテーブルの構造をモデル化する新しいトランスフォーマーアーキテクチャであるMATEを提案する。 MATEは、テーブル内の行または列に効率的に対応できるように、スパースアテンションを使用する。 このアーキテクチャは速度とメモリに関して線形にスケールし、8000以上のトークンを含むドキュメントを現在のアクセラレータで処理することができる。 mateはまた、表データに対するより適切な帰納的バイアスを持ち、3つの表推論データセットのための新しい最先端を設定する。 テーブルを含む大きなドキュメントを含むデータセットであるHybridQA(Chen et al., 2020b)では、最優先の結果を19ポイント改善する。

関連論文リスト

• TableRAG: Million-Token Table Understanding with Language Models [53.039560091592215]
  TableRAG(TableRAG)は、LMベースのテーブル理解用に特別に設計された検索拡張生成(RAG)フレームワークである。 TableRAGは、スキーマとセル検索を組み合わせたクエリ拡張を活用して、LMにそれを提供する前に重要な情報をピンポイントする。 以上の結果から,TableRAGは検索精度が向上し,大規模テーブル理解における最先端性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-10-07T04:15:02Z)
• Multimodal Table Understanding [26.652797853893233]
  直感的な視覚情報を使ってテーブルを直接理解する方法は、より実用的なアプリケーションを開発する上で極めて重要かつ緊急の課題である。 そこで我々は,様々なテーブル関連要求に対して,モデルが正しい応答を生成する必要がある,新しい問題であるマルチモーダルテーブル理解を提案する。 汎用マルチモーダル大言語モデル(MLLM)であるTable-LLaVAを開発した。
  論文  参考訳（メタデータ） (2024-06-12T11:27:03Z)
• Auto-Tables: Synthesizing Multi-Step Transformations to Relationalize Tables without Using Examples [24.208275772387683]
  Auto-Tablesは、非リレーショナルテーブルをダウンストリーム分析のための標準リレーショナルフォームに自動的に変換する。 評価の結果,Auto-Tables はテストケースの70%以上をインタラクティブな速度で変換できることがわかった。
  論文  参考訳（メタデータ） (2023-07-27T00:55:54Z)
• MultiTabQA: Generating Tabular Answers for Multi-Table Question Answering [61.48881995121938]
  実世界のクエリは本質的に複雑で、リレーショナルデータベースやWebページ内の複数のテーブルにまたがることが多い。 我々のモデルであるMultiTabQAは、複数のテーブル上の質問に答えるだけでなく、表形式の回答を生成するために一般化する。
  論文  参考訳（メタデータ） (2023-05-22T08:25:15Z)
• OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
  最小限のアノテーションによるテーブルベースのQAモデルを構築した。 本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T01:23:45Z)
• Table Retrieval May Not Necessitate Table-specific Model Design [83.27735758203089]
  テーブル検索のタスクに焦点をあてて、"テーブル固有のモデル設計はテーブル検索に必要か? 自然質問データセット (NQ-table) の表に基づく分析の結果, 70%以上の症例では構造が無視できる役割を担っていることがわかった。 次に、テーブル構造、すなわち補助列/カラム埋め込み、ハードアテンションマスク、ソフトリレーションに基づくアテンションバイアスを明示的にエンコードする3つのモジュールを実験する。 いずれも大きな改善は得られず、テーブル固有のモデル設計がテーブル検索に不要である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:35:23Z)
• TableFormer: Table Structure Understanding with Transformers [2.121963121603413]
  テーブル構造同定モデルを提案する。 テーブルセルのための新しいオブジェクト検出デコーダ 次に、LSTMデコーダを変換器ベースのデコーダに置き換える。
  論文  参考訳（メタデータ） (2022-03-02T10:46:24Z)
• TGRNet: A Table Graph Reconstruction Network for Table Structure Recognition [76.06530816349763]
  本稿では,表構造認識のためのエンドツーエンドのトレーニング可能な表グラフ再構成ネットワーク(TGRNet)を提案する。 具体的には,異なる細胞の空間的位置と論理的位置を共同で予測するために,細胞検出枝と細胞論理的位置分岐の2つの主枝を有する。
  論文  参考訳（メタデータ） (2021-06-20T01:57:05Z)
• Multi-Type-TD-TSR -- Extracting Tables from Document Images using a Multi-stage Pipeline for Table Detection and Table Structure Recognition: from OCR to Structured Table Representations [63.98463053292982]
  テーブルの認識は、テーブル検出とテーブル構造認識という2つの主要なタスクから構成される。 最近の研究は、テーブル構造認識のタスクにトランスファーラーニングを併用したディープラーニングアプローチへの明確な傾向を示している。 本稿では,テーブル認識問題に対するエンドツーエンドのソリューションを提供するMulti-Type-TD-TSRというマルチステージパイプラインを提案する。
  論文  参考訳（メタデータ） (2021-05-23T21:17:18Z)
• Capturing Row and Column Semantics in Transformer Based Question Answering over Tables [9.347393642549806]
  これらの特化事前学習技術を用いることなく、テーブルQAタスクにおいて優れた性能が得られることを示す。 最近のベンチマーク実験では、提案手法が表上のセル値を効果的に検出できることが証明されている(ウィキ検索質問のhit@1精度は最大98%)。
  論文  参考訳（メタデータ） (2021-04-16T18:22:30Z)
• Identifying Table Structure in Documents using Conditional Generative Adversarial Networks [0.0]
  多くの産業や学術研究において、情報は主に構造化されていない文書の形で伝達される。 本稿では,まず,テーブルイメージを標準化されたスケルトンテーブル形式にマッピングするために,条件付き生成逆数ネットワークを用いたトップダウンアプローチを提案する。 次に、xy-cutプロジェクションと遺伝的アルゴリズムを用いた潜在テーブル構造を導出する。
  論文  参考訳（メタデータ） (2020-01-13T20:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。