論文の概要: Natural Answer Generation: From Factoid Answer to Full-length Answer
using Grammar Correction
- arxiv url: http://arxiv.org/abs/2112.03849v1
- Date: Tue, 7 Dec 2021 17:39:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-08 13:47:29.481617
- Title: Natural Answer Generation: From Factoid Answer to Full-length Answer
using Grammar Correction
- Title(参考訳): 自然回答生成:文法修正を用いたファクトイド回答から完全回答へ
- Authors: Manas Jain, Sriparna Saha, Pushpak Bhattacharyya, Gladvin Chinnadurai,
Manish Kumar Vatsa
- Abstract要約: 本稿では,与えられた質問と抽出されたファクトイド回答を入力として出力するシステムを提案する。
トランスフォーマーベースのGrammar Error Correction Model GECToR (2020) は、処理後のステップとして、流速を改善するために使用される。
本システムと (i) 修正ポインタジェネレータ (SOTA) と (ii) ファインチューニングダイアロGPT との比較を行った。
- 参考スコア(独自算出の注目度): 39.40116590327074
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Question Answering systems these days typically use template-based language
generation. Though adequate for a domain-specific task, these systems are too
restrictive and predefined for domain-independent systems. This paper proposes
a system that outputs a full-length answer given a question and the extracted
factoid answer (short spans such as named entities) as the input. Our system
uses constituency and dependency parse trees of questions. A transformer-based
Grammar Error Correction model GECToR (2020), is used as a post-processing step
for better fluency. We compare our system with (i) Modified Pointer Generator
(SOTA) and (ii) Fine-tuned DialoGPT for factoid questions. We also test our
approach on existential (yes-no) questions with better results. Our model
generates accurate and fluent answers than the state-of-the-art (SOTA)
approaches. The evaluation is done on NewsQA and SqUAD datasets with an
increment of 0.4 and 0.9 percentage points in ROUGE-1 score respectively. Also
the inference time is reduced by 85\% as compared to the SOTA. The improved
datasets used for our evaluation will be released as part of the research
contribution.
- Abstract(参考訳): 質問回答システムは一般的にテンプレートベースの言語生成を使用する。
ドメイン固有のタスクには適していますが、これらのシステムは制限的で、ドメインに依存しないシステムには事前定義されます。
本稿では,与えられた質問に対する全長回答と抽出されたファクトイド回答(名前付きエンティティなど)を入力として出力するシステムを提案する。
我々のシステムは、質問の選挙区と依存関係を解析する。
変圧器ベースの文法誤り訂正モデルgector(2020年)は、流束性を改善するための後処理ステップとして使用される。
私たちは我々のシステムと比べる
(i)改良ポインタージェネレータ(sota)及び
(ii)事実的質問に対する微調整された対話
既存の(イエスノー)質問に対するアプローチもテストしています。
我々のモデルは最先端(SOTA)アプローチよりも正確で流動的な回答を生成する。
評価はNewsQAとSqUADのデータセットで行われ、ROUGE-1スコアの0.4と0.9のポイントが加算される。
また、SOTAと比較して推測時間を85\%削減する。
評価に用いた改良データセットは、研究貢献の一環として公開します。
関連論文リスト
- RAG-ConfusionQA: A Benchmark for Evaluating LLMs on Confusing Questions [52.33835101586687]
会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。
本稿では,与えられた文書コーパスから,文脈に乱れた多様な質問を効率的に生成する,新しい合成データ生成手法を提案する。
論文 参考訳(メタデータ) (2024-10-18T16:11:29Z) - Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。
我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文 参考訳(メタデータ) (2024-05-31T20:15:10Z) - Automatic Speech Recognition System-Independent Word Error Rate Estimation [23.25173244408922]
単語誤り率(Word error rate、WER)は、自動音声認識(ASR)システムによって生成された文字の質を評価するために用いられる指標である。
本稿では,ASRシステムに依存しないWER推定のための仮説生成手法を提案する。
論文 参考訳(メタデータ) (2024-04-25T16:57:05Z) - VANiLLa : Verbalized Answers in Natural Language at Large Scale [2.9098477555578333]
このデータセットは、CSQAとSimpleQuestionsWikidataデータセットから適応された100万以上の単純な質問で構成されている。
このデータセットの回答文は、三つの事実よりも構文的に、意味的に質問に近い。
論文 参考訳(メタデータ) (2021-05-24T16:57:54Z) - Stacking Neural Network Models for Automatic Short Answer Scoring [0.0]
本稿では,ニューラルネットワークとXGBoostに基づく重ね合わせモデルを用いて文埋め込み機能を持つ分類プロセスを提案する。
ベストモデルではF1スコアの0.821が、同じデータセットで前の作業を上回った。
論文 参考訳(メタデータ) (2020-10-21T16:00:09Z) - Sequence-to-Sequence Learning for Indonesian Automatic Question
Generator [0.0]
インドネシア語の自動質問生成装置を構築し、以前の研究からアーキテクチャを適用した。
BLEU1, BLEU2, BLEU3, BLEU4, ROUGE-Lスコアは38,35, 2096, 10,68, 5,78, 43,4であり、TyDiQAは39.9, 20.78, 10.26, 6.31, 44.13であった。
論文 参考訳(メタデータ) (2020-09-29T09:25:54Z) - The Paradigm Discovery Problem [121.79963594279893]
我々は、パラダイム発見問題を定式化し、システム判定のためのメトリクスを開発する。
5つの多言語に対する経験的結果について報告する。
私たちのコードとデータは公開されています。
論文 参考訳(メタデータ) (2020-05-04T16:38:54Z) - KPQA: A Metric for Generative Question Answering Using Keyphrase Weights [64.54593491919248]
KPQA-metricは生成的質問応答システムの正当性を評価するための新しい指標である。
我々の新しい計量は、キーフレーズ予測を通じて各トークンに異なる重みを割り当てる。
提案手法は,既存の指標よりも人的判断との相関が有意に高いことを示す。
論文 参考訳(メタデータ) (2020-05-01T03:24:36Z) - AMR Parsing via Graph-Sequence Iterative Inference [62.85003739964878]
本稿では,AMR解析を入力シーケンスとインクリメンタルに構築されたグラフ上での2つの決定の連続として扱うエンド・ツー・エンドのモデルを提案する。
これら2つの質問に対する回答は相互因果関係であることを示す。
我々は、両方の視点でより良い回答を得るのに役立つ反復推論に基づくモデルを設計し、解析精度を大幅に改善する。
論文 参考訳(メタデータ) (2020-04-12T09:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。