論文の概要: TUTA: Tree-based Transformers for Generally Structured Table Pre-training

• arxiv url: http://arxiv.org/abs/2010.12537v4
• Date: Tue, 20 Jul 2021 01:18:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 00:44:12.703427
• Title: TUTA: Tree-based Transformers for Generally Structured Table Pre-training
• Title（参考訳）: TUTA: 汎用構造化テーブル事前学習用木型トランス
• Authors: Zhiruo Wang, Haoyu Dong, Ran Jia, Jia Li, Zhiyi Fu, Shi Han, Dongmei Zhang
• Abstract要約: テーブル理解に関する最近の試みは、主にリレーショナルテーブルに焦点を当てているが、他の一般的なテーブル構造を見落としている。 本稿では、一般に構造化されたテーブルを理解するための統合事前学習アーキテクチャであるTUTAを提案する。 TUTAは非常に効果的で、広く研究されている5つのデータセットの最先端を実現している。
• 参考スコア（独自算出の注目度）: 47.181660558590515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tables are widely used with various structures to organize and present data. Recent attempts on table understanding mainly focus on relational tables, yet overlook to other common table structures. In this paper, we propose TUTA, a unified pre-training architecture for understanding generally structured tables. Noticing that understanding a table requires spatial, hierarchical, and semantic information, we enhance transformers with three novel structure-aware mechanisms. First, we devise a unified tree-based structure, called a bi-dimensional coordinate tree, to describe both the spatial and hierarchical information of generally structured tables. Upon this, we propose tree-based attention and position embedding to better capture the spatial and hierarchical information. Moreover, we devise three progressive pre-training objectives to enable representations at the token, cell, and table levels. We pre-train TUTA on a wide range of unlabeled web and spreadsheet tables and fine-tune it on two critical tasks in the field of table structure understanding: cell type classification and table type classification. Experiments show that TUTA is highly effective, achieving state-of-the-art on five widely-studied datasets.
• Abstract（参考訳）: テーブルはデータを整理し提示するために様々な構造で広く使われている。 テーブル理解に関する最近の試みは、主にリレーショナルテーブルに焦点を当てているが、他の一般的なテーブル構造を見落としている。 本稿では、一般に構造化されたテーブルを理解するための統合事前学習アーキテクチャTUTAを提案する。 テーブルの理解には空間的・階層的・意味的な情報が必要であることに気づき、3つの新しい構造認識機構でトランスフォーマーを強化する。 まず,2次元座標木と呼ばれる統合木構造を考案し,一般に構成されたテーブルの空間的・階層的情報を記述する。 本研究では,空間的および階層的情報をよりよく捉えるために,木に基づく注意と位置埋め込みを提案する。 さらに,トークン,セル,テーブルレベルでの表現を可能にするために,プログレッシブ事前学習目標を3つ考案した。 本研究では, 表構造理解分野における2つの重要なタスクであるセルタイプ分類とテーブルタイプ分類の2つについて, ラベルなしのWebおよびスプレッドシートテーブル上でTUTAを事前訓練する。 実験により、tutaは5つの広く研究されたデータセットで最先端の成果を上げ、非常に効果的であることが示されている。

関連論文リスト

• SEMv2: Table Separation Line Detection Based on Instance Segmentation [96.36188168694781]
  SEMv2(SEM: Split, Embed, Merge)と呼ばれるテーブル構造認識器を提案する。 本稿では,テーブル分離ラインのインスタンスレベルの識別問題に対処し,条件付き畳み込みに基づくテーブル分離ライン検出戦略を提案する。 SEMv2を包括的に評価するために、iFLYTABと呼ばれるテーブル構造認識のためのより困難なデータセットも提示する。
  論文  参考訳（メタデータ） (2023-03-08T05:15:01Z)
• Table Retrieval May Not Necessitate Table-specific Model Design [83.27735758203089]
  テーブル検索のタスクに焦点をあてて、"テーブル固有のモデル設計はテーブル検索に必要か? 自然質問データセット (NQ-table) の表に基づく分析の結果, 70%以上の症例では構造が無視できる役割を担っていることがわかった。 次に、テーブル構造、すなわち補助列/カラム埋め込み、ハードアテンションマスク、ソフトリレーションに基づくアテンションバイアスを明示的にエンコードする3つのモジュールを実験する。 いずれも大きな改善は得られず、テーブル固有のモデル設計がテーブル検索に不要である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:35:23Z)
• Split, embed and merge: An accurate table structure recognizer [42.579215135672094]
  テーブル構造認識器としてSplit, Embed, Merge (SEM) を導入する。 SEM は SciTSR データセットで平均 F-Measure の 96.9% を達成できる。
  論文  参考訳（メタデータ） (2021-07-12T06:26:19Z)
• TGRNet: A Table Graph Reconstruction Network for Table Structure Recognition [76.06530816349763]
  本稿では,表構造認識のためのエンドツーエンドのトレーニング可能な表グラフ再構成ネットワーク(TGRNet)を提案する。 具体的には,異なる細胞の空間的位置と論理的位置を共同で予測するために,細胞検出枝と細胞論理的位置分岐の2つの主枝を有する。
  論文  参考訳（メタデータ） (2021-06-20T01:57:05Z)
• TCN: Table Convolutional Network for Web Table Interpretation [52.32515851633981]
  テーブル内情報とテーブル間情報の両方を考慮した新しいテーブル表現学習手法を提案する。 カラムタイプ予測ではf1の4.8%、カラム対関係予測ではf1の4.1%で競合ベースラインを上回ることができる。
  論文  参考訳（メタデータ） (2021-02-17T02:18:10Z)
• A Graph Representation of Semi-structured Data for Web Question Answering [96.46484690047491]
  本稿では、半構造化データとそれらの関係の構成要素の体系的分類に基づいて、Webテーブルとリストのグラフ表現を提案する。 本手法は,最先端のベースラインに対してF1スコアを3.90ポイント向上させる。
  論文  参考訳（メタデータ） (2020-10-14T04:01:54Z)
• TURL: Table Understanding through Representation Learning [29.6016859927782]
  TURLは、リレーショナルWebテーブルに事前トレーニング/ファインタニングパラダイムを導入する新しいフレームワークである。 事前学習中、我々のフレームワークは教師なしの方法で関係表上の深い文脈化された表現を学習する。 我々は,TURLがすべてのタスクを一般化し,既存のメソッドをほぼすべてのインスタンスで大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-26T05:44:54Z)
• Identifying Table Structure in Documents using Conditional Generative Adversarial Networks [0.0]
  多くの産業や学術研究において、情報は主に構造化されていない文書の形で伝達される。 本稿では,まず,テーブルイメージを標準化されたスケルトンテーブル形式にマッピングするために,条件付き生成逆数ネットワークを用いたトップダウンアプローチを提案する。 次に、xy-cutプロジェクションと遺伝的アルゴリズムを用いた潜在テーブル構造を導出する。
  論文  参考訳（メタデータ） (2020-01-13T20:42:40Z)
• Table Structure Extraction with Bi-directional Gated Recurrent Unit Networks [5.350788087718877]
  本稿では,検出されたテーブルから行や列を高精度に抽出する,堅牢な深層学習手法を提案する。 我々は、現在利用可能なUNLVとICDAR 2013データセットのベンチマークを行い、最先端のテーブル構造抽出システムよりも大幅に性能を向上した。
  論文  参考訳（メタデータ） (2020-01-08T13:17:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。