論文の概要: TAPEX: Table Pre-training via Learning a Neural SQL Executor

• arxiv url: http://arxiv.org/abs/2107.07653v1
• Date: Fri, 16 Jul 2021 00:40:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-19 14:49:37.573058
• Title: TAPEX: Table Pre-training via Learning a Neural SQL Executor
• Title（参考訳）: tapex:neural sql executorの学習によるテーブル事前トレーニング
• Authors: Qian Liu and Bei Chen and Jiaqi Guo and Zeqi Lin and Jian-guang Lou
• Abstract要約: 人工コーパス上で神経実行器を学習することにより、テーブル事前学習を実現することができることを示す。 合成コーパスの事前学習により,我々のアプローチであるTAPEXは下流タスクの性能を劇的に向上させる。 本研究は, 合成可能プログラムの事前学習により, 構造化されたデータを解析する方法を開放する。
• 参考スコア（独自算出の注目度）: 30.42792528200044
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent years pre-trained language models hit a success on modeling natural language sentences and (semi-)structured tables. However, existing table pre-training techniques always suffer from low data quality and low pre-training efficiency. In this paper, we show that table pre-training can be realized by learning a neural SQL executor over a synthetic corpus, which is obtained by automatically synthesizing executable SQL queries. By pre-training on the synthetic corpus, our approach TAPEX dramatically improves the performance on downstream tasks, boosting existing language models by at most 19.5%. Meanwhile, TAPEX has remarkably high pre-training efficiency and yields strong results when using a small pre-trained corpus. Experimental results demonstrate that TAPEX outperforms previous table pre-training approaches by a large margin, and our model achieves new state-of-the-art results on four well-known datasets, including improving the WikiSQL denotation accuracy to 89.6% (+4.9%), the WikiTableQuestions denotation accuracy to 57.5% (+4.8%), the SQA denotation accuracy to 74.5% (+3.5%), and the TabFact accuracy to 84.6% (+3.6%). Our work opens the way to reason over structured data by pre-training on synthetic executable programs.
• Abstract（参考訳）: 近年、事前訓練された言語モデルは、自然言語文と(半)構造化テーブルのモデリングに成功している。 しかし、既存のテーブル事前学習技術は、常にデータ品質が低く、事前学習効率が低い。 本稿では,実行可能SQLクエリの自動合成によって得られる合成コーパス上で,ニューラルネットワークのSQLエグゼキュータを学習することにより,テーブル事前学習を実現する方法を示す。 合成コーパスの事前学習により、我々のアプローチであるTAPEXはダウンストリームタスクの性能を劇的に向上させ、既存の言語モデルを少なくとも19.5%向上させる。 一方、TAPEXはトレーニング前の効率が著しく高く、トレーニング前の小さなコーパスを使用すると強い結果が得られる。 実験結果から,TAPEXは従来のテーブル事前学習手法を大きなマージンで上回り,WikiSQLの表記精度を89.6%(+4.9%),WikiTableQuestionsの表記精度を57.5%(+4.8%),SQAの表記精度を74.5%(+3.5%),TabFactの精度を84.6%(+3.6%)とした。 我々の研究は、合成可能プログラムを事前学習することで構造化データを推論する方法を開放する。

関連論文リスト

• Learning from Imperfect Data: Towards Efficient Knowledge Distillation of Autoregressive Language Models for Text-to-SQL [83.99974309930072]
  知識蒸留(KD)は、より大規模な教師モデルをより小さな学生モデルに蒸留することを目的とした一般的な手法である。 我々は,不完全なデータ,すなわちKIDを用いてKDを改善することを提案する。 KIDは、すべてのモデルタイプとサイズで一貫した、重要なパフォーマンス向上を達成するだけでなく、トレーニング効率を効果的に向上する。
  論文  参考訳（メタデータ） (2024-10-15T07:51:00Z)
• Text Quality-Based Pruning for Efficient Training of Language Models [66.66259229732121]
  本研究では,大容量NLPデータセットのテキスト品質を数値評価する手法を提案する。 テキスト品質指標を提案することにより、低品質テキストインスタンスを識別・排除する枠組みを確立する。 複数のモデルやデータセットに対する実験結果から,このアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2024-04-26T18:01:25Z)
• TabSQLify: Enhancing Reasoning Capabilities of LLMs Through Table Decomposition [6.253771639590562]
  テーブル推論は、自然言語の質問と構造化データの両方を理解する必要がある難しいタスクである。 テキスト・ツー・ジェネレーションを利用したテーブルを,より小さく,関連するサブテーブルに分解する新しい方法であるTabifyを提案する。 WikiTQベンチマークでは,64.7%の精度で精度が向上した。
  論文  参考訳（メタデータ） (2024-04-15T21:42:20Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Investigating Pre-trained Language Models on Cross-Domain Datasets, a Step Closer to General AI [0.8889304968879164]
  本研究では、事前学習された言語モデルが、異なる非言語タスクに一般化する能力について検討する。 私たちが使用した4つの事前訓練モデル、T5、BART、BERT、GPT-2は優れた結果を得た。
  論文  参考訳（メタデータ） (2023-06-21T11:55:17Z)
• Generative Table Pre-training Empowers Models for Tabular Prediction [71.76829961276032]
  本稿では,テーブル事前学習を利用した最初の試みであるTapTapを提案する。 TapTapは、プライバシ保護、リソースの低さ、価値計算の欠如、不均衡な分類など、さまざまなアプリケーションをサポートするための高品質な合成テーブルを生成することができる。 LightGBM、Multilayer Perceptron (MLP)、Transformerなどのバックボーンモデルと簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2023-05-16T06:37:38Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)
• Multilingual BERT Post-Pretraining Alignment [26.62198329830013]
  本稿では,複数言語の文脈埋め込みを事前学習のステップとして整列する簡単な手法を提案する。 並列データを用いて,最近提案された翻訳言語モデリングの目的を通じて,単語レベルでの埋め込みを整列する。 また、下流タスクで微調整された場合、文レベルのコードスイッチングを英語で行う。
  論文  参考訳（メタデータ） (2020-10-23T17:14:41Z)
• Understanding tables with intermediate pre-training [11.96734018295146]
  我々は、テーブルベースのBERTモデルであるTAPAASを適用して、エンターテイメントを認識する。 我々は,テーブルプルーニングを前処理ステップとして評価し,トレーニングと予測効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-10-01T17:43:27Z)
• DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
  2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。 これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
  論文  参考訳（メタデータ） (2020-06-05T19:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。