論文の概要: TAPAS: Weakly Supervised Table Parsing via Pre-training

• arxiv url: http://arxiv.org/abs/2004.02349v2
• Date: Tue, 21 Apr 2020 15:09:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 12:01:32.093933
• Title: TAPAS: Weakly Supervised Table Parsing via Pre-training
• Title（参考訳）: TAPAS: 事前トレーニングによるテーブルパーシングの監視
• Authors: Jonathan Herzig, Pawe{\l} Krzysztof Nowak, Thomas M\"uller, Francesco Piccinno, Julian Martin Eisenschlos
• Abstract要約: 論理形式を生成せずにテーブル上で質問応答を行う手法であるTAPASを提案する。 我々は3つの異なる意味解析データセットを実験した。 TAPASは、最先端の精度を向上させることにより、セマンティックパーシングモデルよりも優れているか、あるいは競合することがわかった。
• 参考スコア（独自算出の注目度）: 16.661382998729067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Answering natural language questions over tables is usually seen as a semantic parsing task. To alleviate the collection cost of full logical forms, one popular approach focuses on weak supervision consisting of denotations instead of logical forms. However, training semantic parsers from weak supervision poses difficulties, and in addition, the generated logical forms are only used as an intermediate step prior to retrieving the denotation. In this paper, we present TAPAS, an approach to question answering over tables without generating logical forms. TAPAS trains from weak supervision, and predicts the denotation by selecting table cells and optionally applying a corresponding aggregation operator to such selection. TAPAS extends BERT's architecture to encode tables as input, initializes from an effective joint pre-training of text segments and tables crawled from Wikipedia, and is trained end-to-end. We experiment with three different semantic parsing datasets, and find that TAPAS outperforms or rivals semantic parsing models by improving state-of-the-art accuracy on SQA from 55.1 to 67.2 and performing on par with the state-of-the-art on WIKISQL and WIKITQ, but with a simpler model architecture. We additionally find that transfer learning, which is trivial in our setting, from WIKISQL to WIKITQ, yields 48.7 accuracy, 4.2 points above the state-of-the-art.
• Abstract（参考訳）: 自然言語の質問をテーブル上で答えることは、通常意味解析タスクと見なされる。 完全な論理形式の収集コストを軽減するために、ある一般的なアプローチは、論理形式の代わりに記述からなる弱監督に焦点を当てている。 しかし、弱い監督からのセマンティックパーサーの訓練は困難を招き、さらに、生成された論理形式は、記述を検索する前に中間的なステップとしてのみ使用される。 本稿では,論理形式を生成せずにテーブル上で質問応答を行うTAPASを提案する。 タパスは弱い監督から訓練し、テーブルセルを選択し、任意の選択に対応するアグリゲーション演算子を適用することで、表記を予測する。 TAPASはBERTのアーキテクチャを拡張してテーブルを入力としてエンコードし、ウィキペディアからクロールされたテキストセグメントとテーブルの効果的な共同事前トレーニングから初期化し、エンドツーエンドで訓練されている。 我々は3つの異なる意味解析データセットを実験し、TAPASが55.1から67.2までのSQAの最先端精度を改善し、WIKISQLとWIKITQの最先端技術に匹敵するものの、より単純なモデルアーキテクチャで同等の性能を発揮することを発見した。 さらに、WIKISQLからWIKITQへの移行学習は、最先端の4.2ポイントの精度で48.7の精度を得る。

関連論文リスト

• Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding [79.9461269253121]
  そこで我々は、中間思考のプロキシとして、図表データを推論チェーンで明示的に使用するChain-of-Tableフレームワークを提案する。 Chain-of-TableはWikiTQ、FeTaQA、TabFactベンチマークで最新のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-01-09T07:46:26Z)
• Bridge the Gap between Language models and Tabular Understanding [99.88470271644894]
  自然言語領域における事前学習の成功以降,テーブル事前学習のパラダイムが提案され,急速に採用されている。 有望な発見にもかかわらず、事前トレーニングと微調整フェーズの間には入力ギャップがある。 UTPは,テーブルテキスト,テーブル,テキストの3種類のマルチモーダル入力を動的にサポートする手法である。
  論文  参考訳（メタデータ） (2023-02-16T15:16:55Z)
• ReasTAP: Injecting Table Reasoning Skills During Pre-training via Synthetic Reasoning Examples [15.212332890570869]
  複雑なテーブル固有のアーキテクチャ設計を必要とせずに、事前学習中に高レベルのテーブル推論スキルをモデルに注入できることを示すためにReasTAPを開発した。 ReasTAPはすべてのベンチマークで最新のパフォーマンスを実現し、低リソース設定で大幅に改善されている。
  論文  参考訳（メタデータ） (2022-10-22T07:04:02Z)
• OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
  最小限のアノテーションによるテーブルベースのQAモデルを構築した。 本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T01:23:45Z)
• Table Retrieval May Not Necessitate Table-specific Model Design [83.27735758203089]
  テーブル検索のタスクに焦点をあてて、"テーブル固有のモデル設計はテーブル検索に必要か? 自然質問データセット (NQ-table) の表に基づく分析の結果, 70%以上の症例では構造が無視できる役割を担っていることがわかった。 次に、テーブル構造、すなわち補助列/カラム埋め込み、ハードアテンションマスク、ソフトリレーションに基づくアテンションバイアスを明示的にエンコードする3つのモジュールを実験する。 いずれも大きな改善は得られず、テーブル固有のモデル設計がテーブル検索に不要である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:35:23Z)
• Topic Transferable Table Question Answering [33.54533181098762]
  弱教師付きテーブル質問回答(TableQA)モデルは、事前学習されたBERT変換器を用いて質問とテーブルを共同で符号化し、質問のための構造化クエリを生成することにより、最先端のパフォーマンスを実現している。 実用的な設定では、TableQA システムは BERT の事前学習コーパスとは全く異なるトピックと単語の分布を持つテーブルコーパス上に展開される。 我々はT3QA(Topic Transferable Table Question Answering)をTableQAの実用的な適応フレームワークとして提案する。
  論文  参考訳（メタデータ） (2021-09-15T15:34:39Z)
• Understanding tables with intermediate pre-training [11.96734018295146]
  我々は、テーブルベースのBERTモデルであるTAPAASを適用して、エンターテイメントを認識する。 我々は,テーブルプルーニングを前処理ステップとして評価し,トレーニングと予測効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-10-01T17:43:27Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)
• TaBERT: Pretraining for Joint Understanding of Textual and Tabular Data [113.29476656550342]
  本研究では,NL文と表の表現を共同で学習する事前学習型LMであるTaBERTを提案する。 TaBERTは、600万のテーブルとその英語コンテキストからなる大規模なコーパスで訓練されている。 モデルの実装はhttp://fburl.com/TaBERT.comで公開される。
  論文  参考訳（メタデータ） (2020-05-17T17:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。