論文の概要: Capturing Row and Column Semantics in Transformer Based Question Answering over Tables

• arxiv url: http://arxiv.org/abs/2104.08303v1
• Date: Fri, 16 Apr 2021 18:22:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:44:37.737748
• Title: Capturing Row and Column Semantics in Transformer Based Question Answering over Tables
• Title（参考訳）: 変圧器によるテーブル上の質問応答におけるロウとカラムのセマンティックス
• Authors: Michael Glass, Mustafa Canim, Alfio Gliozzo, Saneem Chemmengath, Rishav Chakravarti, Avi Sil, Feifei Pan, Samarth Bharadwaj, Nicolas Rodolfo Fauceglia
• Abstract要約: これらの特化事前学習技術を用いることなく、テーブルQAタスクにおいて優れた性能が得られることを示す。 最近のベンチマーク実験では、提案手法が表上のセル値を効果的に検出できることが証明されている(ウィキ検索質問のhit@1精度は最大98%)。
• 参考スコア（独自算出の注目度）: 9.347393642549806
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformer based architectures are recently used for the task of answering questions over tables. In order to improve the accuracy on this task, specialized pre-training techniques have been developed and applied on millions of open-domain web tables. In this paper, we propose two novel approaches demonstrating that one can achieve superior performance on table QA task without even using any of these specialized pre-training techniques. The first model, called RCI interaction, leverages a transformer based architecture that independently classifies rows and columns to identify relevant cells. While this model yields extremely high accuracy at finding cell values on recent benchmarks, a second model we propose, called RCI representation, provides a significant efficiency advantage for online QA systems over tables by materializing embeddings for existing tables. Experiments on recent benchmarks prove that the proposed methods can effectively locate cell values on tables (up to ~98% Hit@1 accuracy on WikiSQL lookup questions). Also, the interaction model outperforms the state-of-the-art transformer based approaches, pre-trained on very large table corpora (TAPAS and TaBERT), achieving ~3.4% and ~18.86% additional precision improvement on the standard WikiSQL benchmark.
• Abstract（参考訳）: トランスフォーマーベースのアーキテクチャは最近、テーブル上の質問に答えるタスクに使われている。 このタスクの精度を向上させるために、数百万のオープンドメインWebテーブルに特別な事前学習技術を開発し、適用した。 本稿では,これらの特化事前学習技術を使わずに,テーブルQAタスクにおいて優れた性能が得られることを示す2つの新しい手法を提案する。 最初のモデルはrci interactionと呼ばれ、行と列を独立に分類して関連するセルを識別するtransformerベースのアーキテクチャを利用している。 このモデルは最近のベンチマークにおけるセル値の精度は極めて高いが、RCI表現と呼ばれる第2のモデルは、既存のテーブルへの埋め込みを実体化することによって、テーブル上のオンラインQAシステムに対して大きな効率性をもたらす。 最近のベンチマークの実験では、提案手法がテーブル上のセル値を効果的に検出できることが証明されている(WikiSQLのルックアップ質問では、最大98%のHit@1精度)。 また、インタラクションモデルは、非常に大きなテーブルコーパス(TAPASとTaBERT)で事前訓練された最先端のトランスフォーマーベースのアプローチよりも優れており、標準のWikiSQLベンチマークでは3.4%と18.86%の精度向上を実現している。

関連論文リスト

• KET-QA: A Dataset for Knowledge Enhanced Table Question Answering [63.56707527868466]
  本研究では,TableQAの外部知識源として知識ベース(KB)を用いることを提案する。 すべての質問は、答えるテーブルとサブグラフの両方からの情報を統合する必要がある。 我々は,膨大な知識サブグラフから関連する情報を抽出するために,レトリバー・レゾナー構造パイプラインモデルを設計する。
  論文  参考訳（メタデータ） (2024-05-13T18:26:32Z)
• Retrieval-Based Transformer for Table Augmentation [14.460363647772745]
  我々は、自動データラングリングに対する新しいアプローチを導入する。 本研究の目的は,行数や列数,データ計算などのテーブル拡張タスクに対処することである。 我々のモデルは、教師付き統計手法と最先端のトランスフォーマーベースモデルの両方より一貫して、実質的に優れています。
  論文  参考訳（メタデータ） (2023-06-20T18:51:21Z)
• TRUST: An Accurate and End-to-End Table structure Recognizer Using Splitting-based Transformers [56.56591337457137]
  本稿では,TRUSTと呼ばれるテーブル構造認識手法を提案する。 変換器は、大域的な計算、完全メモリ、並列計算のためにテーブル構造認識に適している。 我々はPubTabNetやSynthTableなど,いくつかの人気のあるベンチマークで実験を行い,新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2022-08-31T08:33:36Z)
• OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
  最小限のアノテーションによるテーブルベースのQAモデルを構築した。 本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T01:23:45Z)
• Table Retrieval May Not Necessitate Table-specific Model Design [83.27735758203089]
  テーブル検索のタスクに焦点をあてて、"テーブル固有のモデル設計はテーブル検索に必要か? 自然質問データセット (NQ-table) の表に基づく分析の結果, 70%以上の症例では構造が無視できる役割を担っていることがわかった。 次に、テーブル構造、すなわち補助列/カラム埋め込み、ハードアテンションマスク、ソフトリレーションに基づくアテンションバイアスを明示的にエンコードする3つのモジュールを実験する。 いずれも大きな改善は得られず、テーブル固有のモデル設計がテーブル検索に不要である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:35:23Z)
• Parameter-Efficient Abstractive Question Answering over Tables or Text [60.86457030988444]
  QAシステムを求める情報の長期的な野望は、マルチモーダルなコンテキストを推論し、ユーザクエリに対する自然な回答を生成することである。 メモリ集約型事前学習言語モデルは、構造化されていないテキストや構造化テーブルのような特定のモードでQAデータ上のモデルを微調整することで、QAのような下流タスクに適応する。 パラメータ効率の良いアダプタは、トランス層間の小さなタスク固有のボトルネック層を加算し、訓練する。
  論文  参考訳（メタデータ） (2022-04-07T10:56:29Z)
• End-to-End Table Question Answering via Retrieval-Augmented Generation [19.89730342792824]
  本稿では、T-RAGというテーブルQAモデルを紹介し、非パラメトリックな高密度ベクトルインデックスをパラメトリックシーケンス・ツー・シーケンスモデルであるBARTと組み合わせて微調整し、応答トークンを生成する。 自然言語の問題があれば、T-RAGは統合パイプラインを使用してテーブルコーパスを自動で検索し、テーブルセルから正しい回答を直接見つけ出す。
  論文  参考訳（メタデータ） (2022-03-30T23:30:16Z)
• CLTR: An End-to-End, Transformer-Based System for Cell Level Table Retrieval and Table Question Answering [8.389189333083513]
  本稿では,最初のエンドツーエンドのテーブル質問応答(QA)システムを提案する。 自然言語の質問と大量のテーブルコーパスを入力として、最も関係のあるテーブルを検索し、質問に答えるために正しいテーブルセルを見つける。 76,242テーブル上の2,005の自然言語質問からなる2つの新しいオープンドメインベンチマークであるE2E_WTQとE2E_GNQを導入する。
  論文  参考訳（メタデータ） (2021-06-08T15:22:10Z)
• Understanding tables with intermediate pre-training [11.96734018295146]
  我々は、テーブルベースのBERTモデルであるTAPAASを適用して、エンターテイメントを認識する。 我々は,テーブルプルーニングを前処理ステップとして評価し,トレーニングと予測効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-10-01T17:43:27Z)
• AutoRC: Improving BERT Based Relation Classification Models via Architecture Search [50.349407334562045]
  BERTに基づく関係分類(RC)モデルは、従来のディープラーニングモデルよりも大幅に改善されている。 最適なアーキテクチャとは何かという合意は得られない。 BERTをベースとしたRCモデルのための包括的検索空間を設計し、設計選択を自動的に検出するためにNAS(Neural Architecture Search)手法を用いる。
  論文  参考訳（メタデータ） (2020-09-22T16:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。