論文の概要: Semantic-based Self-Critical Training For Question Generation

• arxiv url: http://arxiv.org/abs/2108.12026v1
• Date: Thu, 26 Aug 2021 20:33:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-30 21:54:43.394805
• Title: Semantic-based Self-Critical Training For Question Generation
• Title（参考訳）: セマンティックに基づく質問生成のための自己批判的学習
• Authors: Lo\"ic, Kwate Dassi
• Abstract要約: ニューラル質問生成のための完全変換器を用いた強化学習ジェネレータアーキテクチャを提案する。 我々は、ジェネレータ評価アーキテクチャにおける意味に基づく自己クリティカルなトレーニングレイアウトを考案した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present in this work a fully Transformer-based reinforcement learning generator-evaluator architecture for neural question generation. Question generation is a task that consists in generating questions given a context and answer. To improve the quality of the generated question, we came up with a semantic-based self-critical training layout in generator-evaluator architecture, which goes beyond typical maximum likelihood training. Evaluation metrics for language modeling only based on n-gram overlapping do not consider semantic relations between reference and candidate strings. To improve the evaluation step, we assess our model for both n-gram overlap using BLEU and semantically using BERTScore and NUBIA, a novel state-of-the-art evaluation metric for text generation. Question generation could be used in many downstream applications, including in extending question answering datasets, conversational systems, and educational assessment systems.
• Abstract（参考訳）: 本稿では,ニューラルネットワーク生成のための完全変換器を用いた強化学習ジェネレータアーキテクチャを提案する。 質問生成は、コンテキストと回答が与えられた質問を生成するタスクである。 生成した質問の品質を向上させるために,ジェネレータ・評価器アーキテクチャにおける意味に基づく自己クリティカルなトレーニングレイアウトを考案した。 n-gramオーバーラップのみに基づく言語モデリングの評価指標は,参照文字列と候補文字列のセマンティックな関係を考慮しない。 評価ステップを改善するために,BLEU と BERTScore と NUBIA を用いて n-gram 重なりの重なりのモデルを評価し,テキスト生成のための新しい評価指標である BERTScore と NUBIA を用いた。 質問生成は、質問応答データセットの拡張、会話システム、教育アセスメントシステムなど、多くの下流アプリケーションで使用することができる。

関連論文リスト

• Leveraging In-Context Learning and Retrieval-Augmented Generation for Automatic Question Generation in Educational Domains [0.4857223913212445]
  本研究は,教育現場における質問の自動生成技術に焦点をあてる。 少数例を用いたICL用GPT-4とRAG用検索モジュールを用いたBARTを実装した。 ハイブリッドモデルはRAGとICLを組み合わせてこれらの問題に対処し、質問品質を改善する。
  論文  参考訳（メタデータ） (2025-01-29T03:25:19Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• Evaluating Generative Ad Hoc Information Retrieval [58.800799175084286]
  生成検索システムは、しばしばクエリに対する応答として、接地された生成されたテキストを直接返す。 このような生成的アドホック検索を適切に評価するには,テキスト応答の有用性の定量化が不可欠である。
  論文  参考訳（メタデータ） (2023-11-08T14:05:00Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• Automatic Short Math Answer Grading via In-context Meta-learning [2.0263791972068628]
  本研究では,数学質問に対する児童生徒の回答に対する自動短解格付けの問題について検討する。 我々は、数学的な内容に適応した人気のある言語モデルBERTの変種である MathBERT をベースモデルとして使用しています。 第二に、言語モデルへの入力としてスコアリングサンプルを提供する、コンテキスト内学習アプローチを用いる。
  論文  参考訳（メタデータ） (2022-05-30T16:26:02Z)
• Context Matters in Semantically Controlled Language Generation for Task-oriented Dialogue Systems [6.1478669848771546]
  本研究は,タスク指向対話における文脈言語生成を実現するために,事前学習モデルによって符号化された対話履歴情報と,現在のシステム発話の意味表現とを組み合わせる。 我々は、事前学習されたマルチコンテキスト・コンベRTモデルを、スクラッチから訓練されたモデルにおける文脈表現に利用し、事前学習されたGPT-2から適応したモデルにおいて、直前のユーザ発話を文脈生成に活用する。
  論文  参考訳（メタデータ） (2021-11-28T11:48:02Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Simplifying Paragraph-level Question Generation via Transformer Language Models [0.0]
  質問生成(QG)は、ある入力テキストに対応する質問をモデルに訓練する自然言語生成タスクである。 1つのTransformerベースの一方向言語モデルで、トランスファーラーニングを利用して高品質な質問を生成することができる。 我々のQGモデルは、GPT-2 Smallから微調整され、SQuADデータセット上のいくつかの段落レベルのQGベースラインを0.95 METEORポイントで上回る。
  論文  参考訳（メタデータ） (2020-05-03T14:57:24Z)
• NUBIA: NeUral Based Interchangeability Assessor for Text Generation [0.0]
  NUBIAは、機械学習モデルのみをコアコンポーネントとして用い、テキスト生成のための自動評価指標を構築する手法である。 典型的なNUBIAモデルは、ニューラル特徴抽出器、アグリゲータ、キャリブレータの3つのモジュールで構成されている。 NUBIAの実装は、現在、機械翻訳、要約、そして人間の判断と相関する技術メトリクスの状態をわずかに上回り、評価するために使われている指標より優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-30T10:11:33Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。