論文の概要: TURL: Table Understanding through Representation Learning

• arxiv url: http://arxiv.org/abs/2006.14806v2
• Date: Thu, 3 Dec 2020 02:47:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 21:56:26.483462
• Title: TURL: Table Understanding through Representation Learning
• Title（参考訳）: TURL:表現学習による表理解
• Authors: Xiang Deng, Huan Sun, Alyssa Lees, You Wu, Cong Yu
• Abstract要約: TURLは、リレーショナルWebテーブルに事前トレーニング/ファインタニングパラダイムを導入する新しいフレームワークである。 事前学習中、我々のフレームワークは教師なしの方法で関係表上の深い文脈化された表現を学習する。 我々は,TURLがすべてのタスクを一般化し,既存のメソッドをほぼすべてのインスタンスで大幅に上回っていることを示す。
• 参考スコア（独自算出の注目度）: 29.6016859927782
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Relational tables on the Web store a vast amount of knowledge. Owing to the wealth of such tables, there has been tremendous progress on a variety of tasks in the area of table understanding. However, existing work generally relies on heavily-engineered task-specific features and model architectures. In this paper, we present TURL, a novel framework that introduces the pre-training/fine-tuning paradigm to relational Web tables. During pre-training, our framework learns deep contextualized representations on relational tables in an unsupervised manner. Its universal model design with pre-trained representations can be applied to a wide range of tasks with minimal task-specific fine-tuning. Specifically, we propose a structure-aware Transformer encoder to model the row-column structure of relational tables, and present a new Masked Entity Recovery (MER) objective for pre-training to capture the semantics and knowledge in large-scale unlabeled data. We systematically evaluate TURL with a benchmark consisting of 6 different tasks for table understanding (e.g., relation extraction, cell filling). We show that TURL generalizes well to all tasks and substantially outperforms existing methods in almost all instances.
• Abstract（参考訳）: web上のリレーショナルテーブルには、膨大な知識があります。 このような表の豊かさから、表理解の分野では様々なタスクが多大な進歩を遂げている。 しかしながら、既存の作業は一般的に、高度に設計されたタスク固有の機能とモデルアーキテクチャに依存している。 本稿では,リレーショナルWebテーブルに事前学習/微調整パラダイムを導入する新しいフレームワークであるTURLを提案する。 事前トレーニング中に、このフレームワークは、教師なしの方法でリレーショナルテーブルの深いコンテキスト化表現を学習します。 事前訓練された表現を持つユニバーサルモデル設計は、タスク固有の微調整を最小限にした幅広いタスクに適用することができる。 具体的には、リレーショナルテーブルの行列構造をモデル化する構造対応トランスフォーマーエンコーダを提案し、大規模未ラベルデータにおける意味と知識を事前学習するための新しいMasked Entity Recovery(MER)の目標を提案する。 我々は,テーブル理解のための6つのタスク(関係抽出,セル充填など)からなるベンチマークを用いて,TURLを体系的に評価した。 我々は,TURLがすべてのタスクを一般化し,既存のメソッドをほぼすべてのインスタンスで大幅に上回ることを示す。

関連論文リスト

• TabPedia: Towards Comprehensive Visual Table Understanding with Concept Synergy [81.76462101465354]
  本稿では,概念相乗効果機構を備えた新しい大型視触覚モデルTabPediaを提案する。 この統合されたフレームワークにより、TabPediaはテーブル検出、テーブル構造認識、テーブルクエリ、テーブル質問応答などのVTUタスクをシームレスに統合できる。 実世界のシナリオにおけるVTUタスクをよりよく評価するために、新しい総合的なテーブルVQAベンチマークComTQAを構築した。
  論文  参考訳（メタデータ） (2024-06-03T13:54:05Z)
• TableLlama: Towards Open Large Generalist Models for Tables [22.56558262472516]
  本稿では,多種多様なテーブルベースタスクのジェネラリストとして,オープンソースの大規模言語モデル(LLM)の開発に向けた第一歩を示す。 本研究では,様々な現実的なテーブルやタスクを備えた新しいデータセットであるTableInstructを構築し,LLMのチューニングと評価を行う。 さらに,LongLoRAを用いてLlama 2 (7B) を微調整することで,テーブル用の最初のオープンソースジェネラリストモデルであるTableLlamaを開発した。
  論文  参考訳（メタデータ） (2023-11-15T18:47:52Z)
• MultiTabQA: Generating Tabular Answers for Multi-Table Question Answering [61.48881995121938]
  実世界のクエリは本質的に複雑で、リレーショナルデータベースやWebページ内の複数のテーブルにまたがることが多い。 我々のモデルであるMultiTabQAは、複数のテーブル上の質問に答えるだけでなく、表形式の回答を生成するために一般化する。
  論文  参考訳（メタデータ） (2023-05-22T08:25:15Z)
• ReasTAP: Injecting Table Reasoning Skills During Pre-training via Synthetic Reasoning Examples [15.212332890570869]
  複雑なテーブル固有のアーキテクチャ設計を必要とせずに、事前学習中に高レベルのテーブル推論スキルをモデルに注入できることを示すためにReasTAPを開発した。 ReasTAPはすべてのベンチマークで最新のパフォーマンスを実現し、低リソース設定で大幅に改善されている。
  論文  参考訳（メタデータ） (2022-10-22T07:04:02Z)
• OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
  最小限のアノテーションによるテーブルベースのQAモデルを構築した。 本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T01:23:45Z)
• Table Retrieval May Not Necessitate Table-specific Model Design [83.27735758203089]
  テーブル検索のタスクに焦点をあてて、"テーブル固有のモデル設計はテーブル検索に必要か? 自然質問データセット (NQ-table) の表に基づく分析の結果, 70%以上の症例では構造が無視できる役割を担っていることがわかった。 次に、テーブル構造、すなわち補助列/カラム埋め込み、ハードアテンションマスク、ソフトリレーションに基づくアテンションバイアスを明示的にエンコードする3つのモジュールを実験する。 いずれも大きな改善は得られず、テーブル固有のモデル設計がテーブル検索に不要である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:35:23Z)
• Table Pre-training: A Survey on Model Architectures, Pretraining Objectives, and Downstream Tasks [37.35651138851127]
  テキストや画像の成功を受けて、テーブル事前学習フレームワークの急激な普及が提案されている。 テーブル事前トレーニングは通常、テーブル-テキスト共同トレーニングの形式を取る。 この調査は、さまざまなモデル設計、事前学習目標、およびテーブル事前学習のための下流タスクの包括的なレビューを提供することを目的としている。
  論文  参考訳（メタデータ） (2022-01-24T15:22:24Z)
• Retrieving Complex Tables with Multi-Granular Graph Representation Learning [20.72341939868327]
  自然言語テーブル検索の課題は,自然言語クエリに基づいて意味的に関連するテーブルを検索することである。 既存の学習システムは、テーブルがデータフレームとして構成されているという仮定に基づいて、テーブルをプレーンテキストとして扱う。 多粒グラフ表現学習を用いた一般化可能なNLTRフレームワークであるグラフベーステーブル検索(GTR)を提案する。
  論文  参考訳（メタデータ） (2021-05-04T20:19:03Z)
• TUTA: Tree-based Transformers for Generally Structured Table Pre-training [47.181660558590515]
  テーブル理解に関する最近の試みは、主にリレーショナルテーブルに焦点を当てているが、他の一般的なテーブル構造を見落としている。 本稿では、一般に構造化されたテーブルを理解するための統合事前学習アーキテクチャであるTUTAを提案する。 TUTAは非常に効果的で、広く研究されている5つのデータセットの最先端を実現している。
  論文  参考訳（メタデータ） (2020-10-21T13:22:31Z)
• A Graph Representation of Semi-structured Data for Web Question Answering [96.46484690047491]
  本稿では、半構造化データとそれらの関係の構成要素の体系的分類に基づいて、Webテーブルとリストのグラフ表現を提案する。 本手法は,最先端のベースラインに対してF1スコアを3.90ポイント向上させる。
  論文  参考訳（メタデータ） (2020-10-14T04:01:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。