論文の概要: On the Evaluation of Answer-Agnostic Paragraph-level Multi-Question Generation

• arxiv url: http://arxiv.org/abs/2203.04464v2
• Date: Fri, 11 Mar 2022 15:55:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-15 00:39:12.394631
• Title: On the Evaluation of Answer-Agnostic Paragraph-level Multi-Question Generation
• Title（参考訳）: Answer-Agnostic Paragraph-level Multi-Question Generation の評価について
• Authors: Jishnu Ray Chowdhury, Debanjan Mahata, Cornelia Caragea
• Abstract要約: 本研究は,所定の段落から有意な質問の集合を予測するタスクについて,その解答の事前知識を伴わずに検討する。 まず、ハンガリーのアルゴリズムを用いて、提案したペアをスコア付けする前に、予測された質問を参照に割り当てることにより、参照の集合に対して予測された質問の集合を評価する新しい手法を提案する。 第2に,事前学習したseq2seqモデルを用いて,与えられた段落に関連する質問の集合を生成し,選択するための異なる戦略を比較した。
• 参考スコア（独自算出の注目度）: 57.630606799713526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the task of predicting a set of salient questions from a given paragraph without any prior knowledge of the precise answer. We make two main contributions. First, we propose a new method to evaluate a set of predicted questions against the set of references by using the Hungarian algorithm to assign predicted questions to references before scoring the assigned pairs. We show that our proposed evaluation strategy has better theoretical and practical properties compared to prior methods because it can properly account for the coverage of references. Second, we compare different strategies to utilize a pre-trained seq2seq model to generate and select a set of questions related to a given paragraph. The code is available.
• Abstract（参考訳）: 我々は,ある段落から有意な質問の集合を,その回答を事前に知ることなく予測するタスクについて検討する。 主な貢献は2つある。 まず、ハンガリーのアルゴリズムを用いて、与えられたペアを得点する前に、予測された質問を基準に割り当てることにより、参照集合に対して予測された質問集合を評価する新しい方法を提案する。 提案手法は,参照範囲を適切に考慮できるため,従来の手法に比べて理論的,実用的特性が優れていることを示す。 第2に,事前学習したseq2seqモデルを用いて,与えられた段落に関連する質問セットを生成し,選択するための異なる戦略を比較する。 コードは利用可能です。

関連論文リスト

• QUDSELECT: Selective Decoding for Questions Under Discussion Parsing [90.92351108691014]
  Question Under Examination (QUD) は、暗黙の質問を用いて文間の会話関係を明らかにするための談話フレームワークである。 本稿では,QUD基準を考慮したQUD依存構造を選択的に復号する共同学習フレームワークであるQUDSELECTを紹介する。 提案手法は,人的評価において9%,自動評価において4%,最先端のベースラインモデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-08-02T06:46:08Z)
• Do Smaller Language Models Answer Contextualised Questions Through Memorisation Or Generalisation? [8.51696622847778]
  モデルは、非常に類似したトレーニングサンプルから直接記憶される評価サンプルのラベルを予測できる能力と、しばしば区別される。 本稿では,本モデルが解答を記憶する可能性が極めて低い評価サンプルを同定する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-21T04:06:08Z)
• Evaluation of Question Generation Needs More References [7.876222232341623]
  我々は、より堅牢なQG評価のために、基準質問を言い換えることを提案する。 GPT-3のような大規模言語モデルを用いて,意味論的・統語論的に多様な質問を作成した。
  論文  参考訳（メタデータ） (2023-05-26T04:40:56Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• Knowledge-enhanced Iterative Instruction Generation and Reasoning for Knowledge Base Question Answering [43.72266327778216]
  マルチホップ知識ベース質問回答は、質問に言及されたトピックエンティティからのいくつかのホップである知識ベースで回答エンティティを見つけることを目的としている。 既存のRetrievalベースのアプローチでは、まず質問から指示を生成し、知識グラフ上のマルチホップ推論をガイドする。 我々は2つのマルチホップKBQAベンチマークの実験を行い、既存のアプローチを上回り、新しい最先端技術となった。
  論文  参考訳（メタデータ） (2022-09-07T09:02:45Z)
• Did Aristotle Use a Laptop? A Question Answering Benchmark with Implicit Reasoning Strategies [78.68534915690404]
  StrategyQAは、必要な推論ステップが問題に暗黙的であり、戦略を使用して推論されるべきベンチマークです。 用語に基づくプライミングを組み合わせ、アノテーションーを刺激し、アノテーションーの集団を慎重に制御し、推論ショートカットを排除するための逆フィルタリングを行うデータ収集手順を提案する。 総合的に、StrategyQAには2,780の例があり、それぞれが戦略問題、その分解、証拠パラグラフで構成されている。
  論文  参考訳（メタデータ） (2021-01-06T19:14:23Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• Visual Question Answering with Prior Class Semantics [50.845003775809836]
  候補解のセマンティクスに関連する追加情報を利用する方法を示す。 セマンティック空間における回帰目標を用いて解答予測プロセスを拡張する。 提案手法は,様々な質問タイプに対して,一貫性と精度の向上をもたらす。
  論文  参考訳（メタデータ） (2020-05-04T02:46:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。