論文の概要: Investigating the use of Paraphrase Generation for Question Reformulation in the FRANK QA system

• arxiv url: http://arxiv.org/abs/2206.02737v1
• Date: Mon, 6 Jun 2022 16:46:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 16:52:59.432155
• Title: Investigating the use of Paraphrase Generation for Question Reformulation in the FRANK QA system
• Title（参考訳）: FRANK QAシステムにおける疑問修正のためのパラフレーズ生成の活用の検討
• Authors: Nick Ferguson, Liane Guillou, Kwabena Nuamah, Alan Bundy
• Abstract要約: 本稿では,FRANK質問回答システムで解答できる自然言語質問の多様性を高めるためのパラフレーズ生成手法を提案する。 LC-QuAD 2.0データセットのパラフレーズ生成手法を,自動計測と人的判断の両方を用いて評価し,その相関性について考察した。
• 参考スコア（独自算出の注目度）: 0.234863357088666
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present a study into the ability of paraphrase generation methods to increase the variety of natural language questions that the FRANK Question Answering system can answer. We first evaluate paraphrase generation methods on the LC-QuAD 2.0 dataset using both automatic metrics and human judgement, and discuss their correlation. Error analysis on the dataset is also performed using both automatic and manual approaches, and we discuss how paraphrase generation and evaluation is affected by data points which contain error. We then simulate an implementation of the best performing paraphrase generation method (an English-French backtranslation) into FRANK in order to test our original hypothesis, using a small challenge dataset. Our two main conclusions are that cleaning of LC-QuAD 2.0 is required as the errors present can affect evaluation; and that, due to limitations of FRANK's parser, paraphrase generation is not a method which we can rely on to improve the variety of natural language questions that FRANK can answer.
• Abstract（参考訳）: 本稿では,frank question answering system が回答できる自然言語質問の多様性を高めるためのパラフレーズ生成手法の能力について検討する。 LC-QuAD 2.0データセットのパラフレーズ生成手法を,自動計測と人的判断の両方を用いて評価し,その相関性について考察した。 データセットのエラー解析も自動と手動の両方のアプローチで行われ、パラフレーズの生成と評価がエラーを含むデータポイントによってどのように影響を受けるかについて議論する。 次に,我々の仮説を小さなチャレンジデータセットを用いて検証するために,最高の性能を持つパラフレーズ生成法(英仏逆翻訳法)の実装をフランクにシミュレートする。 LC-QuAD 2.0のクリーニングは評価に影響を及ぼす可能性があるため必要であり、FRANKのパーサの制限により、パラフレーズ生成はFRANKが答えられる様々な自然言語問題を改善する方法ではない、という結論が得られた。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• RAG-ConfusionQA: A Benchmark for Evaluating LLMs on Confusing Questions [52.33835101586687]
  会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。 本稿では,与えられた文書コーパスから,文脈に乱れた多様な質問を効率的に生成する,新しい合成データ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。 そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• InfoLossQA: Characterizing and Recovering Information Loss in Text Simplification [60.10193972862099]
  本研究は, 簡易化による情報損失を問合せ・問合せ形式で特徴づけ, 回復する枠組みを提案する。 QAペアは、読者がテキストの知識を深めるのに役立つように設計されている。
  論文  参考訳（メタデータ） (2024-01-29T19:00:01Z)
• Towards Reliable and Factual Response Generation: Detecting Unanswerable Questions in Information-Seeking Conversations [16.99952884041096]
  生成的AIモデルは、そのようなシステムに対するユーザの信頼を損なう可能性のある幻覚の課題に直面します。 本稿では,まずコーパス内の関連するパスを識別し,最後にシステム応答にまとめる2段階のプロセスとして,会話情報探索の問題にアプローチする。 具体的には,文レベル分類器を用いて解答の有無を判定し,これらの予測を文レベルに集約し,最後に最終解答可能性推定値に到達する。
  論文  参考訳（メタデータ） (2024-01-21T10:15:36Z)
• Reference Free Domain Adaptation for Translation of Noisy Questions with Question Specific Rewards [22.297433705607464]
  Neural Machine Translationを使って質問を翻訳することは、ノイズの多い環境でより多くの課題をもたらす。 ソース側データのみを用いてNMTシステムを微調整する訓練手法を提案する。 提案手法は,BERTScore と Masked Language Model (MLM) Score を組み合わせた損失関数を利用することで,妥当性と流速のバランスをとる。
  論文  参考訳（メタデータ） (2023-10-23T18:08:01Z)
• Generating Self-Contained and Summary-Centric Question Answer Pairs via Differentiable Reward Imitation Learning [7.2745835227138045]
  本稿では,質問応答対(QAペア)を自己完結型,要約型,長さ制約型,記事要約型で生成するモデルを提案する。 このデータセットは、回答として要約を生成するQAペア生成モデルを学ぶために使用される。
  論文  参考訳（メタデータ） (2021-09-10T06:34:55Z)
• Exploring Fluent Query Reformulations with Text-to-Text Transformers and Reinforcement Learning [11.205077315939644]
  テキストからテキストへの変換器を用いた改質器の訓練により、クエリの改質を生成する方法を検討する。 ポリシーベースの強化学習アルゴリズムを適用し、報酬学習をさらに促進します。 当社のフレームワークはフレキシブルで,異なる下流環境から報奨信号の発信を可能にする。
  論文  参考訳（メタデータ） (2020-12-18T03:16:37Z)
• Evaluating Factuality in Generation with Dependency-level Entailment [57.5316011554622]
  本稿では,依存弧のレベルで分解するエンテーメントの新たな定式化を提案する。 このデータに基づいて訓練された依存関係弧包含モデルにより,文レベルの手法よりもパラフレーズ化や要約における現実的不整合を識別できることが示されている。
  論文  参考訳（メタデータ） (2020-10-12T06:43:10Z)
• Tell Me How to Ask Again: Question Data Augmentation with Controllable Rewriting in Continuous Space [94.8320535537798]
  機械読解(MRC)、質問生成、質問答え自然言語推論タスクのための制御可能な書き換えベースの質問データ拡張(CRQDA)。 質問データ拡張タスクを制約付き質問書き換え問題として扱い、コンテキスト関連、高品質、多様な質問データサンプルを生成する。
  論文  参考訳（メタデータ） (2020-10-04T03:13:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。