論文の概要: AutoQA: From Databases To QA Semantic Parsers With Only Synthetic
Training Data
- arxiv url: http://arxiv.org/abs/2010.04806v2
- Date: Tue, 8 Jun 2021 00:49:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 05:41:35.884258
- Title: AutoQA: From Databases To QA Semantic Parsers With Only Synthetic
Training Data
- Title(参考訳): AutoQA: データベースからQAセマンティックパーザへ: 学習データだけで
- Authors: Silei Xu, Sina J. Semnani, Giovanni Campagna, Monica S. Lam
- Abstract要約: AutoQAは、手作業なしでデータベース上の質問に答えるセマンティクスを生成する。
自動言い換えとテンプレートベースの属性解析を組み合わせて、式の代替表現を見つける。
解答精度は69.8%で、最先端のゼロショットモデルよりも16.4%高く、人間のデータで訓練されたモデルよりもわずか5.2%低い。
- 参考スコア(独自算出の注目度): 6.522647000820583
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose AutoQA, a methodology and toolkit to generate semantic parsers
that answer questions on databases, with no manual effort. Given a database
schema and its data, AutoQA automatically generates a large set of high-quality
questions for training that covers different database operations. It uses
automatic paraphrasing combined with template-based parsing to find alternative
expressions of an attribute in different parts of speech. It also uses a novel
filtered auto-paraphraser to generate correct paraphrases of entire sentences.
We apply AutoQA to the Schema2QA dataset and obtain an average logical form
accuracy of 62.9% when tested on natural questions, which is only 6.4% lower
than a model trained with expert natural language annotations and paraphrase
data collected from crowdworkers. To demonstrate the generality of AutoQA, we
also apply it to the Overnight dataset. AutoQA achieves 69.8% answer accuracy,
16.4% higher than the state-of-the-art zero-shot models and only 5.2% lower
than the same model trained with human data.
- Abstract(参考訳): 本稿では,データベース上の問合せに応答するセマンティックパーザを生成するための方法論とツールキットであるAutoQAを提案する。
データベーススキーマとそのデータから、AutoQAは、異なるデータベース操作をカバーするトレーニング用の大量の高品質な質問を自動的に生成する。
自動パラフレージングとテンプレートベースの構文解析を組み合わせて、音声の異なる部分における属性の代替表現を見つける。
また、新しいフィルター付きオートパラフレーズを使用して、文全体の正しいパラフレーズを生成する。
私たちは、schema2qaデータセットにautoqaを適用し、自然問題でテストした場合、平均論理形式精度62.9%を得る。これは、専門家の自然言語アノテーションとクラウドワーカーから収集されたパラフレーズデータで訓練されたモデルよりも6.4%低い。
AutoQAの汎用性を実証するため、Overnightデータセットにも適用する。
autoqaは69.8%の回答精度を達成し、最先端のゼロショットモデルよりも16.4%高い。
関連論文リスト
- Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。
我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文 参考訳(メタデータ) (2024-05-31T20:15:10Z) - KET-QA: A Dataset for Knowledge Enhanced Table Question Answering [63.56707527868466]
本研究では,TableQAの外部知識源として知識ベース(KB)を用いることを提案する。
すべての質問は、答えるテーブルとサブグラフの両方からの情報を統合する必要がある。
我々は,膨大な知識サブグラフから関連する情報を抽出するために,レトリバー・レゾナー構造パイプラインモデルを設計する。
論文 参考訳(メタデータ) (2024-05-13T18:26:32Z) - A Lightweight Method to Generate Unanswerable Questions in English [18.323248259867356]
本稿では,英語における疑問生成のための簡易なデータ拡張手法について検討する。
回答可能な質問に対して、Antonymとエンティティスワップを実行します。
従来の最先端技術と比較すると、トレーニング不要で軽量な戦略で生成されたデータにより、より良いモデルが得られます。
論文 参考訳(メタデータ) (2023-10-30T10:14:52Z) - A Practical Toolkit for Multilingual Question and Answer Generation [79.31199020420827]
我々は,マルチ言語QAGのオンラインサービスであるAutoQGと,モデル微調整,生成,評価のためのオールインワンPythonパッケージであるlmqgを紹介した。
また、事前訓練されたエンコーダ-デコーダ言語モデルのいくつかの変種を微調整した8言語でQAGモデルをリリースしています。
論文 参考訳(メタデータ) (2023-05-27T08:42:37Z) - Parameter-Efficient Abstractive Question Answering over Tables or Text [60.86457030988444]
QAシステムを求める情報の長期的な野望は、マルチモーダルなコンテキストを推論し、ユーザクエリに対する自然な回答を生成することである。
メモリ集約型事前学習言語モデルは、構造化されていないテキストや構造化テーブルのような特定のモードでQAデータ上のモデルを微調整することで、QAのような下流タスクに適応する。
パラメータ効率の良いアダプタは、トランス層間の小さなタスク固有のボトルネック層を加算し、訓練する。
論文 参考訳(メタデータ) (2022-04-07T10:56:29Z) - Unsupervised Evaluation for Question Answering with Transformers [46.16837670041594]
本稿では, トランスフォーマーに基づくQAアーキテクチャにおける質問, 回答, コンテキストの隠蔽表現について検討する。
回答表現における一貫したパターンを観察し、予測された回答が正しいかどうかを自動的に評価することができることを示す。
私たちはモデルの解答が正解かどうかを、SQuADの91.37%、SubjQAの80.7%の精度で予測することができる。
論文 参考訳(メタデータ) (2020-10-07T07:03:30Z) - Generating Diverse and Consistent QA pairs from Contexts with
Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。
我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
論文 参考訳(メタデータ) (2020-05-28T08:26:06Z) - Syntactic Question Abstraction and Retrieval for Data-Scarce Semantic
Parsing [22.490892257736043]
本稿では,自然言語を論理形式に変換するニューラルセマンティクスを構築するために,SQAR(Syntactic Question Abstraction and Retrieval)を提案する。
SQARは、モデルを再トレーニングすることなく、新しい例を追加することで、目に見えない論理パターンを生成する。
単純なパターン分類アプローチとは対照的に、SQARはモデルを再訓練することなく、目に見えない論理パターンを生成することができる。
論文 参考訳(メタデータ) (2020-05-01T23:05:55Z) - Template-Based Question Generation from Retrieved Sentences for Improved
Unsupervised Question Answering [98.48363619128108]
擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。
関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2020-04-24T17:57:45Z) - Schema2QA: High-Quality and Low-Cost Q&A Agents for the Structured Web [11.387139390711464]
質問応答エージェントを構築するには、現在大量の注釈付きデータセットが必要であるが、これは極めて高価である。
本稿では,フィールド毎にいくつかのアノテーションを付加したデータベーススキーマからQ&Aシステムを生成可能なオープンソースツールキットであるugment2QAを提案する。
5.orgドメイン、レストラン、人、映画、本、音楽のQ&Aシステムを生成するためにAR2QAを使用し、クラウドソーシングされた質問に対して、全体的な精度は64%から75%である。
論文 参考訳(メタデータ) (2020-01-16T01:49:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。