論文の概要: Towards Automatic Generation of Questions from Long Answers

• arxiv url: http://arxiv.org/abs/2004.05109v3
• Date: Wed, 15 Apr 2020 17:57:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 21:05:13.286326
• Title: Towards Automatic Generation of Questions from Long Answers
• Title（参考訳）: 長文回答からの質問の自動生成に向けて
• Authors: Shlok Kumar Mishra, Pranav Goel, Abhishek Sharma, Abhyuday Jagannatha, David Jacobs, Hal Daum\'e III
• Abstract要約: 本稿では,従来のAQGシステムの性能評価のための新しい評価ベンチマークを提案する。 既存のAQG法の性能は,回答の長さが大きくなるにつれて著しく低下することを示した。 トランスフォーマーに基づく手法は, 従来のAQG法よりも, 自己評価や人的評価の点で優れていた。
• 参考スコア（独自算出の注目度）: 11.198653485869935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic question generation (AQG) has broad applicability in domains such as tutoring systems, conversational agents, healthcare literacy, and information retrieval. Existing efforts at AQG have been limited to short answer lengths of up to two or three sentences. However, several real-world applications require question generation from answers that span several sentences. Therefore, we propose a novel evaluation benchmark to assess the performance of existing AQG systems for long-text answers. We leverage the large-scale open-source Google Natural Questions dataset to create the aforementioned long-answer AQG benchmark. We empirically demonstrate that the performance of existing AQG methods significantly degrades as the length of the answer increases. Transformer-based methods outperform other existing AQG methods on long answers in terms of automatic as well as human evaluation. However, we still observe degradation in the performance of our best performing models with increasing sentence length, suggesting that long answer QA is a challenging benchmark task for future research.
• Abstract（参考訳）: 自動質問生成(AQG)は、学習システム、会話エージェント、医療リテラシー、情報検索などの分野に適用可能である。 AQGの既存の取り組みは、最大2、3文までの短い回答に制限されている。 しかし、いくつかの実世界のアプリケーションでは、複数の文にまたがる回答から質問を生成する必要がある。 そこで本研究では,従来のAQGシステムの性能評価のための新しい評価ベンチマークを提案する。 大規模なオープンソースであるGoogle Natural Questionsデータセットを活用して、前述の長文のAQGベンチマークを作成します。 我々は,既存の aqg メソッドの性能が,回答長の増加とともに著しく低下することを示す。 トランスフォーマーに基づく手法は, 従来のAQG法よりも, 自己評価や人的評価の点で優れている。 しかし, 文長の増大に伴う最高の性能モデルの性能低下は引き続き観察され, 今後の研究において, 長解QAが課題となることが示唆された。

関連論文リスト

• Beyond-RAG: Question Identification and Answer Generation in Real-Time Conversations [0.0]
  カスタマーコンタクトセンターでは、人間エージェントは長い平均処理時間(AHT)に苦しむことが多い。 本稿では,顧客質問をリアルタイムに識別し,RAGを超越した意思決定を支援するシステムを提案する。 クエリがFAQと一致した場合、システムはFAQデータベースから直接回答を検索する。
  論文  参考訳（メタデータ） (2024-10-14T04:06:22Z)
• RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering [61.19126689470398]
  Long-form RobustQA (LFRQA)は、7つの異なるドメインにわたる26Kクエリと大きなコーパスをカバーする新しいデータセットである。 RAG-QAアリーナと人間の回答品質判断は高い相関関係にあることを示す。 最も競争力のあるLLMの回答の41.3%のみがLFRQAの回答に好まれており、RAG-QAアリーナは将来の研究の挑戦的な評価プラットフォームであることを示している。
  論文  参考訳（メタデータ） (2024-07-19T03:02:51Z)
• HiQA: A Hierarchical Contextual Augmentation RAG for Multi-Documents QA [13.000411428297813]
  コンテンツにカスケードメタデータと複数ルート検索機構を統合した,高度な多文書質問応答(MDQA)フレームワークであるHiQAを提案する。 また、MDQAの評価と研究を行うMasQAというベンチマークもリリースしました。
  論文  参考訳（メタデータ） (2024-02-01T02:24:15Z)
• SQUARE: Automatic Question Answering Evaluation using Multiple Positive and Negative References [73.67707138779245]
  SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。 文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
  論文  参考訳（メタデータ） (2023-09-21T16:51:30Z)
• Improving the Question Answering Quality using Answer Candidate Filtering based on Natural-Language Features [117.44028458220427]
  本稿では,質問応答(QA)の品質をいかに改善できるかという課題に対処する。 私たちの主な貢献は、QAシステムが提供する間違った回答を識別できるアプローチです。 特に,提案手法は誤答の大部分を除去しつつ,その可能性を示した。
  論文  参考訳（メタデータ） (2021-12-10T11:09:44Z)
• Improving Unsupervised Question Answering via Summarization-Informed Question Generation [47.96911338198302]
  質問生成 (QG) とは, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、 我々は、自由なニュース要約データを使用し、宣言文を依存性解析、名前付きエンティティ認識、セマンティックロールラベリングを用いて適切な質問に変換する。 得られた質問は、元のニュース記事と組み合わせて、エンドツーエンドのニューラルQGモデルをトレーニングする。
  論文  参考訳（メタデータ） (2021-09-16T13:08:43Z)
• GooAQ: Open Question Answering with Diverse Answer Types [63.06454855313667]
  さまざまな回答型を持つ大規模データセットであるGooAQを紹介する。 このデータセットには500万の質問と300万の回答が含まれている。
  論文  参考訳（メタデータ） (2021-04-18T05:40:39Z)
• Summary-Oriented Question Generation for Informational Queries [23.72999724312676]
  主文書のトピックに焦点をあてた自己説明的質問を,適切な長さのパスで答えられるようにすることを目的としている。 本モデルでは,NQデータセット(20.1BLEU-4)上でのSQ生成のSOTA性能を示す。 我々はさらに,本モデルをドメイン外のニュース記事に適用し,ゴールド質問の欠如によるQAシステムによる評価を行い,私たちのモデルがニュース記事に対してより良いSQを生成することを実証し,人間による評価によるさらなる確認を行う。
  論文  参考訳（メタデータ） (2020-10-19T17:30:08Z)
• Reinforced Multi-task Approach for Multi-hop Question Generation [47.15108724294234]
  我々は,その文脈における支援事実に基づいて,関連する質問を生成することを目的としたマルチホップ質問生成を取り上げている。 我々は,質問生成を導くために,回答認識支援事実予測の補助タスクを備えたマルチタスク学習を採用する。 マルチホップ質問応答データセットHotPotQAの実験を通して,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-04-05T10:16:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。