論文の概要: Generative Language Models for Paragraph-Level Question Generation

• arxiv url: http://arxiv.org/abs/2210.03992v1
• Date: Sat, 8 Oct 2022 10:24:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 16:37:45.558104
• Title: Generative Language Models for Paragraph-Level Question Generation
• Title（参考訳）: パラグラフレベル質問生成のための生成言語モデル
• Authors: Asahi Ushio and Fernando Alva-Manchego and Jose Camacho-Collados
• Abstract要約: 強力な生成モデルが質問生成(QG)の最近の進歩につながっている 標準化された資源が存在しないため,QG研究の進歩を測定することは困難である。 我々はQGのベンチマークであるQG-Benchを導入し、既存のQGデータセットを標準QG設定に変換することで、既存の質問応答データセットを統一する。
• 参考スコア（独自算出の注目度）: 79.31199020420827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Powerful generative models have led to recent progress in question generation (QG). However, it is difficult to measure advances in QG research since there are no standardized resources that allow a uniform comparison among approaches. In this paper, we introduce QG-Bench, a multilingual and multidomain benchmark for QG that unifies existing question answering datasets by converting them to a standard QG setting. It includes general-purpose datasets such as SQuAD for English, datasets from ten domains and two styles, as well as datasets in eight different languages. Using QG-Bench as a reference, we perform an extensive analysis of the capabilities of language models for the task. First, we propose robust QG baselines based on fine-tuning generative language models. Then, we complement automatic evaluation based on standard metrics with an extensive manual evaluation, which in turn sheds light on the difficulty of evaluating QG models. Finally, we analyse both the domain adaptability of these models as well as the effectiveness of multilingual models in languages other than English. QG-Bench is released along with the fine-tuned models presented in the paper https://github.com/asahi417/lm-question-generation, which are also available as a demo https://autoqg.net/.
• Abstract（参考訳）: 強力な生成モデルが近年の質問生成(QG)の進展につながっている。 しかし,QG研究の進歩を測ることは困難である。 本稿では,QGを標準QG設定に変換することで,既存の質問応答データセットを統一するQG用マルチリンガルベンチマークであるQG-Benchを紹介する。 これには、英語用のSQuADのような汎用データセット、10のドメインと2つのスタイルのデータセット、および8つの異なる言語のデータセットが含まれる。 参照としてQG-Benchを用いて、タスクの言語モデルの性能を広範囲に分析する。 まず、微調整生成言語モデルに基づく堅牢なQGベースラインを提案する。 次に,標準指標に基づく自動評価を広範囲な手作業による評価で補完し,qgモデルの評価の難しさを浮き彫りにする。 最後に、これらのモデルのドメイン適応性だけでなく、英語以外の言語における多言語モデルの有効性も分析する。 QG-Bench は https://github.com/asahi417/lm-question-generation という論文で示された細かな調整されたモデルとともにリリースされた。

関連論文リスト

• Cross-lingual Transfer for Automatic Question Generation by Learning Interrogative Structures in Target Languages [6.635572580071933]
  本稿では,モノリンガル,並列,ラベル付きデータを対象言語で必要とせずに動作可能な,単純かつ効率的なXLT-QG法を提案する。 提案手法は,GPT-3.5-turboに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2024-10-04T07:29:35Z)
• A Practical Toolkit for Multilingual Question and Answer Generation [79.31199020420827]
  我々は,マルチ言語QAGのオンラインサービスであるAutoQGと,モデル微調整,生成,評価のためのオールインワンPythonパッケージであるlmqgを紹介した。 また、事前訓練されたエンコーダ-デコーダ言語モデルのいくつかの変種を微調整した8言語でQAGモデルをリリースしています。
  論文  参考訳（メタデータ） (2023-05-27T08:42:37Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• PAXQA: Generating Cross-lingual Question Answering Examples at Training Scale [53.92008514395125]
  PAXQA(クロスリンガル(x)QAのアノテーションの計画)は、クロスリンガルQAを2段階に分解する。 本稿では、並列ビットから制約されたエンティティを抽出する語彙制約機械翻訳の新たな利用法を提案する。 これらのデータセットに基づいて微調整されたモデルは、複数の抽出されたQAデータセット上で、先行合成データ生成モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-24T15:46:26Z)
• Question Answering and Question Generation for Finnish [0.8426855646402236]
  フィンランド語で動作する最初のニューラルQAモデルとQGモデルを提示する。 モデルをトレーニングするために、SQuADデータセットを自動的に翻訳する。 合成データとTyDi-QAデータセットのフィンランド分割を用いて、いくつかのトランスフォーマーベースのモデルをQAとQGの両方に微調整する。
  論文  参考訳（メタデータ） (2022-11-24T20:40:00Z)
• QAmeleon: Multilingual QA with Only 5 Examples [71.80611036543633]
  数ショットの学習環境下で事前学習した言語モデルを利用する方法を示す。 我々のアプローチであるQAmeleonは、PLMを使用して、QAモデルをトレーニングした多言語データを自動的に生成する。 言語毎に5つの例しか持たないデータ合成のためにPLMをプロンプトチューニングすることで、翻訳ベースのベースラインよりも精度が向上する。
  論文  参考訳（メタデータ） (2022-11-15T16:14:39Z)
• Cross-Lingual GenQA: A Language-Agnostic Generative Question Answering Approach for Open-Domain Question Answering [76.99585451345702]
  オープン検索生成質問回答(GenQA)は、高品質で自然な回答を英語で提供することが証明されている。 我々は多言語環境に対するGenQAアプローチの最初の一般化について述べる。
  論文  参考訳（メタデータ） (2021-10-14T04:36:29Z)
• An Exploratory Analysis of Multilingual Word-Level Quality Estimation with Cross-Lingual Transformers [3.4355075318742165]
  単語レベルの多言語QEモデルは、現在の言語固有のモデルと同等に機能することを示す。 ゼロショットおよび少数ショットQEの場合、他の言語ペアで訓練されたモデルから、任意の新しい言語ペアに対する単語レベルの品質を正確に予測できることを実証する。
  論文  参考訳（メタデータ） (2021-05-31T23:21:10Z)
• Simplifying Paragraph-level Question Generation via Transformer Language Models [0.0]
  質問生成(QG)は、ある入力テキストに対応する質問をモデルに訓練する自然言語生成タスクである。 1つのTransformerベースの一方向言語モデルで、トランスファーラーニングを利用して高品質な質問を生成することができる。 我々のQGモデルは、GPT-2 Smallから微調整され、SQuADデータセット上のいくつかの段落レベルのQGベースラインを0.95 METEORポイントで上回る。
  論文  参考訳（メタデータ） (2020-05-03T14:57:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。