Fugu-MT 論文翻訳(概要): Evaluating for Diversity in Question Generation over Text

論文の概要: Evaluating for Diversity in Question Generation over Text

arxiv url: http://arxiv.org/abs/2008.07291v1
Date: Mon, 17 Aug 2020 13:16:12 GMT
ステータス: 処理完了
システム内更新日: 2022-10-28 02:59:45.917054
Title: Evaluating for Diversity in Question Generation over Text
Title（参考訳）: テキストによる質問生成における多様性の評価
Authors: Michael Sejr Schlichtkrull, Weiwei Cheng
Abstract要約: 我々は,BLEU や METEOR などの一般的な評価指標は,参照問題固有の多様性のため,この課題には適さないと論じている。本稿では,この課題に対する変分エンコーダ・デコーダモデルを提案する。
参考スコア（独自算出の注目度）: 5.369031521471668
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Generating diverse and relevant questions over text is a task with widespread applications. We argue that commonly-used evaluation metrics such as BLEU and METEOR are not suitable for this task due to the inherent diversity of reference questions, and propose a scheme for extending conventional metrics to reflect diversity. We furthermore propose a variational encoder-decoder model for this task. We show through automatic and human evaluation that our variational model improves diversity without loss of quality, and demonstrate how our evaluation scheme reflects this improvement.
Abstract（参考訳）: テキスト上で多様で関連する質問を生成することは、広く応用されるタスクである。 BLEU や METEOR などの一般的な評価指標は,参照問題固有の多様性のため,この課題には適さないと論じ,多様性を反映する従来の指標を拡張する手法を提案する。さらに,本課題に対する変分エンコーダデコーダモデルを提案する。自動的・人為的評価を通じて,我々の変動モデルは品質を損なうことなく多様性を向上し,我々の評価方法がこの改善を反映しているかを示す。

関連論文リスト

OLMES: A Standard for Language Model Evaluations [64.85905119836818]
再現可能な言語モデル評価のための実用的でオープンな標準であるOLMESを提案する。我々は,コミュニティが採用する評価実践において,様々な要因を特定し,検討する。 OLMESは、複数の質問の非自然な「閉じた」定式化を必要とする小さなベースモデル間の有意義な比較をサポートする。
論文参考訳（メタデータ） (2024-06-12T17:37:09Z)
Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文参考訳（メタデータ） (2024-02-16T13:53:26Z)
Improving Diversity of Demographic Representation in Large Language Models via Collective-Critiques and Self-Voting [19.79214899011072]
本稿では,生成的大言語モデルにおける表現の多様性を形式化する。評価データセットを提示し、人や文化軸に沿って生成された反応の多様性を測定する指標を提案する。 LLMは多様性の概念を理解し、その目標に対して自身の反応を推論し、批判することができる。
論文参考訳（メタデータ） (2023-10-25T10:17:17Z)
Diversify Question Generation with Retrieval-Augmented Style Transfer [68.00794669873196]
本稿では,検索型スタイル転送のためのフレームワーク RAST を提案する。本研究の目的は,多様なテンプレートのスタイルを質問生成に活用することである。多様性報酬と一貫性報酬の重み付けを最大化する新しい強化学習(RL)ベースのアプローチを開発する。
論文参考訳（メタデータ） (2023-10-23T02:27:31Z)
Diversifying Question Generation over Knowledge Base via External Natural Questions [18.382095354733842]
多様なテキストは、様々な表現を通して同じ意味を伝達すべきである。現在のメトリクスは、生成された質問自体のユニークなn-gramの比率を計算するため、上記の多様性を不適切に評価する。我々は,各インスタンスを対象としたトップk生成質問の多様性を計測する,新しい多様性評価指標を考案した。
論文参考訳（メタデータ） (2023-09-23T10:37:57Z)
Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-27T10:40:59Z)
Measuring and Improving Semantic Diversity of Dialogue Generation [21.59385143783728]
生成した応答のセマンティックな多様性を測定するための新しい自動評価指標を提案する。提案手法は,既存の語彙レベルの多様性指標よりも,応答の多様性に関する人間の判断をよりよく捉えていることを示す。また、生成した応答のセマンティックな多様性を改善するための、シンプルで効果的な学習方法を提案する。
論文参考訳（メタデータ） (2022-10-11T18:36:54Z)
Learning to Diversify for Product Question Generation [68.69526529887607]
本稿では,T5の事前学習型トランスフォーマー・デコーダモデルについて述べる。本稿では,トランスフォーマーモデルによって学習された言語を豊かにするための,新たな学習・多様化(LTD)手法を提案する。
論文参考訳（メタデータ） (2022-07-06T09:26:41Z)
On the Relation between Quality-Diversity Evaluation and Distribution-Fitting Goal in Text Generation [86.11292297348622]
本研究では, 品質と多様性の線形結合が, 生成した分布と実分布との分岐距離を構成することを示す。品質/多様性メトリックペアの代替としてCR/NRRを提案する。
論文参考訳（メタデータ） (2020-07-03T04:06:59Z)
Evaluating the Evaluation of Diversity in Natural Language Generation [43.05127848086264]
本稿では,自然言語生成システムにおける多様性指標を評価するためのフレームワークを提案する。当社のフレームワークは,NLGシステムの改善に向けた重要なステップである,さまざまな多様性指標の理解を促進することができる。
論文参考訳（メタデータ） (2020-04-06T20:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。