論文の概要: ReasTAP: Injecting Table Reasoning Skills During Pre-training via Synthetic Reasoning Examples

• arxiv url: http://arxiv.org/abs/2210.12374v1
• Date: Sat, 22 Oct 2022 07:04:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 15:59:57.494043
• Title: ReasTAP: Injecting Table Reasoning Skills During Pre-training via Synthetic Reasoning Examples
• Title（参考訳）: reastap: 合成推論例による事前学習中のテーブル推論スキルの注入
• Authors: Yilun Zhao, Linyong Nan, Zhenting Qi, Rui Zhang, Dragomir Radev
• Abstract要約: 複雑なテーブル固有のアーキテクチャ設計を必要とせずに、事前学習中に高レベルのテーブル推論スキルをモデルに注入できることを示すためにReasTAPを開発した。 ReasTAPはすべてのベンチマークで最新のパフォーマンスを実現し、低リソース設定で大幅に改善されている。
• 参考スコア（独自算出の注目度）: 15.212332890570869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning over tabular data requires both table structure understanding and a broad set of table reasoning skills. Current models with table-specific architectures and pre-training methods perform well on understanding table structures, but they still struggle with tasks that require various table reasoning skills. In this work, we develop ReasTAP to show that high-level table reasoning skills can be injected into models during pre-training without a complex table-specific architecture design. We define 7 table reasoning skills, such as numerical operation, temporal comparison, and conjunction. Each reasoning skill is associated with one example generator, which synthesizes questions over semi-structured tables according to the sampled templates. We model the table pre-training task as a sequence generation task and pre-train ReasTAP to generate precise answers to the synthetic examples. ReasTAP is evaluated on four benchmarks covering three downstream tasks including: 1) WikiSQL and WTQ for Table Question Answering; 2) TabFact for Table Fact Verification; and 3) LogicNLG for Faithful Table-to-Text Generation. Experimental results demonstrate that ReasTAP achieves new state-of-the-art performance on all benchmarks and delivers a significant improvement on low-resource setting. Our code is publicly available at https://github.com/Yale-LILY/ReasTAP.
• Abstract（参考訳）: 表データに対する推論には、テーブル構造理解とテーブル推論の幅広いセットの両方が必要である。 テーブル固有のアーキテクチャと事前学習手法を備えた現在のモデルは、テーブル構造を理解する上ではうまく機能するが、さまざまなテーブル推論スキルを必要とするタスクに苦戦している。 本研究では、複雑なテーブル固有のアーキテクチャ設計を必要とせずに、事前学習中に高レベルのテーブル推論スキルをモデルに注入できることを示すReasTAPを開発した。 数値演算,時間比較,協調といった7つのテーブル推論スキルを定義した。 それぞれの推論スキルは、サンプルテンプレートに従って半構造化テーブル上の質問を合成するサンプルジェネレータに関連付けられている。 本稿では,テーブル事前学習タスクをシーケンス生成タスクと事前学習ReasTAPとしてモデル化し,合成例に対する正確な回答を生成する。 ReasTAPは以下の3つの下流タスクをカバーする4つのベンチマークで評価される。 1) 質問応答のためのWikiSQLとWTQ 2)テーブルファクト検証用タブファクト,及び 3)忠実な表-テキスト生成のためのLogicNLG。 実験結果は、reastapがすべてのベンチマークで新たな最先端性能を達成し、低リソース設定において大幅な改善をもたらすことを示している。 私たちのコードはhttps://github.com/yale-lily/reastapで公開されています。

関連論文リスト

• TabPedia: Towards Comprehensive Visual Table Understanding with Concept Synergy [81.76462101465354]
  本稿では,概念相乗効果機構を備えた新しい大型視触覚モデルTabPediaを提案する。 この統合されたフレームワークにより、TabPediaはテーブル検出、テーブル構造認識、テーブルクエリ、テーブル質問応答などのVTUタスクをシームレスに統合できる。 実世界のシナリオにおけるVTUタスクをよりよく評価するために、新しい総合的なテーブルVQAベンチマークComTQAを構築した。
  論文  参考訳（メタデータ） (2024-06-03T13:54:05Z)
• Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding [79.9461269253121]
  そこで我々は、中間思考のプロキシとして、図表データを推論チェーンで明示的に使用するChain-of-Tableフレームワークを提案する。 Chain-of-TableはWikiTQ、FeTaQA、TabFactベンチマークで最新のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-01-09T07:46:26Z)
• MultiTabQA: Generating Tabular Answers for Multi-Table Question Answering [61.48881995121938]
  実世界のクエリは本質的に複雑で、リレーショナルデータベースやWebページ内の複数のテーブルにまたがることが多い。 我々のモデルであるMultiTabQAは、複数のテーブル上の質問に答えるだけでなく、表形式の回答を生成するために一般化する。
  論文  参考訳（メタデータ） (2023-05-22T08:25:15Z)
• OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
  最小限のアノテーションによるテーブルベースのQAモデルを構築した。 本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T01:23:45Z)
• Table Retrieval May Not Necessitate Table-specific Model Design [83.27735758203089]
  テーブル検索のタスクに焦点をあてて、"テーブル固有のモデル設計はテーブル検索に必要か? 自然質問データセット (NQ-table) の表に基づく分析の結果, 70%以上の症例では構造が無視できる役割を担っていることがわかった。 次に、テーブル構造、すなわち補助列/カラム埋め込み、ハードアテンションマスク、ソフトリレーションに基づくアテンションバイアスを明示的にエンコードする3つのモジュールを実験する。 いずれも大きな改善は得られず、テーブル固有のモデル設計がテーブル検索に不要である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:35:23Z)
• HiTab: A Hierarchical Table Dataset for Question Answering and Natural Language Generation [35.73434495391091]
  階層テーブルは、計算と意味論の暗黙の関係と同様に、階層的な索引付けによって既存の手法に挑戦する。 この研究は、階層テーブル上で質問応答(QA)と自然言語生成(NLG)を研究する研究コミュニティのための、自由でオープンなデータセットであるHiTabを提示する。
  論文  参考訳（メタデータ） (2021-08-15T10:14:21Z)
• Understanding tables with intermediate pre-training [11.96734018295146]
  我々は、テーブルベースのBERTモデルであるTAPAASを適用して、エンターテイメントを認識する。 我々は,テーブルプルーニングを前処理ステップとして評価し,トレーニングと予測効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-10-01T17:43:27Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)
• TURL: Table Understanding through Representation Learning [29.6016859927782]
  TURLは、リレーショナルWebテーブルに事前トレーニング/ファインタニングパラダイムを導入する新しいフレームワークである。 事前学習中、我々のフレームワークは教師なしの方法で関係表上の深い文脈化された表現を学習する。 我々は,TURLがすべてのタスクを一般化し,既存のメソッドをほぼすべてのインスタンスで大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-26T05:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。