論文の概要: Evaluation Metrics of Language Generation Models for Synthetic Traffic Generation Tasks

• arxiv url: http://arxiv.org/abs/2311.12534v1
• Date: Tue, 21 Nov 2023 11:26:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 00:50:45.201896
• Title: Evaluation Metrics of Language Generation Models for Synthetic Traffic Generation Tasks
• Title（参考訳）: 合成トラヒック生成タスクのための言語生成モデルの評価メトリクス
• Authors: Simone Filice, Jason Ingyu Choi, Giuseppe Castellucci, Eugene Agichtein, Oleg Rokhlenko
• Abstract要約: BLEUのような一般的なNLGメトリクスは、合成トラフィック生成(STG)の評価には適していないことを示す。 生成したトラフィックと実際のユーザテキストの分布を比較するために設計されたいくつかの指標を提案し,評価する。
• 参考スコア（独自算出の注目度）: 22.629816738693254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many Natural Language Generation (NLG) tasks aim to generate a single output text given an input prompt. Other settings require the generation of multiple texts, e.g., for Synthetic Traffic Generation (STG). This generation task is crucial for training and evaluating QA systems as well as conversational agents, where the goal is to generate multiple questions or utterances resembling the linguistic variability of real users. In this paper, we show that common NLG metrics, like BLEU, are not suitable for evaluating STG. We propose and evaluate several metrics designed to compare the generated traffic to the distribution of real user texts. We validate our metrics with an automatic procedure to verify whether they capture different types of quality issues of generated data; we also run human annotations to verify the correlation with human judgements. Experiments on three tasks, i.e., Shopping Utterance Generation, Product Question Generation and Query Auto Completion, demonstrate that our metrics are effective for evaluating STG tasks, and improve the agreement with human judgement up to 20% with respect to common NLG metrics. We believe these findings can pave the way towards better solutions for estimating the representativeness of synthetic text data.
• Abstract（参考訳）: 多くの自然言語生成(nlg)タスクは、入力プロンプトが与えられた単一の出力テキストを生成することを目的としている。 他の設定では、Synthetic Traffic Generation (STG) などの複数のテキストを生成する必要がある。 この生成タスクは、実際のユーザの言語的多様性に似た複数の質問や発話を生成することを目的とする会話エージェントと同様に、QAシステムの訓練および評価に不可欠である。 本稿では,BLEU のような一般的な NLG メトリクスはSTG の評価には適さないことを示す。 本稿では,生成したトラフィックと実際のユーザテキストの分布を比較するための指標を提案し,評価する。 我々は、自動的な手順でメトリクスを検証し、生成したデータの異なる種類の品質問題を捉えるかどうかを検証し、また人間の判断と相関性を検証するために人間のアノテーションも実行します。 3つのタスク、すなわち買い物発話生成、製品質問生成、クエリの自動補完に関する実験は、我々のメトリクスがstgタスクの評価に有効であることを示し、一般的なnlgメトリクスに関して最大20%の人間判断との合意を改善する。 これらの発見は、合成テキストデータの代表性を評価するためのより良いソリューションへの道を開くことができると信じている。

関連論文リスト

• Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
  大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。 本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。 我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
  論文  参考訳（メタデータ） (2024-07-04T16:41:08Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• DecompEval: Evaluating Generated Texts as Unsupervised Decomposed Question Answering [95.89707479748161]
  自然言語生成タスク(NLG)の既存の評価指標は、一般化能力と解釈可能性の課題に直面している。 本稿では,NLG評価を命令型質問応答タスクとして定式化するDecompEvalというメトリクスを提案する。 本稿では,文の質を測る問合せに,文の質を問う指導スタイルの質問を分解する。 PLMが生成した回答を証拠として再検討し、評価結果を得る。
  論文  参考訳（メタデータ） (2023-07-13T16:16:51Z)
• NLG Evaluation Metrics Beyond Correlation Analysis: An Empirical Metric Preference Checklist [20.448405494617397]
  Perplexity、BLEU、BERTScoreといったタスクに依存しないメトリクスは費用対効果が高く、多様なNLGタスクに適応できる。 ヒューマンアライメントメトリクス(CTC、CtrlEval、UniEval)は、望ましい人間的な品質をトレーニング目的として取り入れることで、相関レベルを改善する。 テキスト要約および制御生成タスクにおいて,システムレベルの性能を識別する上で,自動メトリクスが人間よりも優れたガイダンスを提供することを示す。
  論文  参考訳（メタデータ） (2023-05-15T11:51:55Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• Not All Errors are Equal: Learning Text Generation Metrics using Stratified Error Synthesis [79.18261352971284]
  人間のアノテーションを必要とせずに、人間の判断と高い相関関係を持つモデルベースの計量であるSESCOREを紹介する。 既存の指標に対してSESCOREを評価し,そのスコアと人間の評価との関係を比較検討した。 SESCOREは、人間による注釈付きトレーニングデータを受け取らず、最高の教師付きメトリックCOMETに匹敵するパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2022-10-10T22:30:26Z)
• Compression, Transduction, and Creation: A Unified Framework for Evaluating Natural Language Generation [85.32991360774447]
  自然言語生成(NLG)は幅広いタスクにまたがっており、それぞれが特定の目的のために機能する。 NLGタスクにおける情報変化の性質に基づく統一的な視点を提案する。 我々は,異なるNLGタスクの重要な側面を評価するのに適した,解釈可能なメトリクスのファミリーを開発する。
  論文  参考訳（メタデータ） (2021-09-14T01:00:42Z)
• Data-QuestEval: A Referenceless Metric for Data to Text Semantic Evaluation [33.672301484161416]
  QuestEvalは、予測と構造化された入力データを直接比較し、質問や回答を自動的に行うメトリクスである。 マルチモーダルQG/QAのトレーニングを可能にする合成マルチモーダルコーポラを構築します。 基準なし、マルチモーダルで、E2EおよびWebNLGベンチマークで人間の判断と最新の相関関係を得ます。
  論文  参考訳（メタデータ） (2021-04-15T16:10:46Z)
• GRUEN for Evaluating Linguistic Quality of Generated Text [17.234442722611803]
  本稿では、文法性、非冗長性、focU、生成したテキストの構造とコヒーレンスを評価するためのGRUENを提案する。 GRUENはBERTベースのモデルと構文的、意味的、文脈的特徴のクラスを使用してシステム出力を調べる。
  論文  参考訳（メタデータ） (2020-10-06T05:59:25Z)
• How To Evaluate Your Dialogue System: Probe Tasks as an Alternative for Token-level Evaluation Metrics [47.20761880464552]
  生成的対話モデリングは言語モデリングタスクとして広く見なされている。 このタスクは、エージェントが入力テキストを複雑な自然言語で理解し、ユーザと意味のある対話を行うように要求する。 使用される自動メトリクスは、生成されたテキストの品質を、エージェントの全体的相互作用のプロキシとして評価する。
  論文  参考訳（メタデータ） (2020-08-24T13:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。