論文の概要: APPLS: Evaluating Evaluation Metrics for Plain Language Summarization

• arxiv url: http://arxiv.org/abs/2305.14341v2
• Date: Wed, 31 Jan 2024 02:32:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 18:05:15.534631
• Title: APPLS: Evaluating Evaluation Metrics for Plain Language Summarization
• Title（参考訳）: APPLS: 平易な言語要約のための評価指標の評価
• Authors: Yue Guo, Tal August, Gondy Leroy, Trevor Cohen, Lucy Lu Wang
• Abstract要約: 本稿では,Plain Language Summarization (PLS) のメトリクスを評価するための,詳細なメタ評価テストベッド APPLS を提案する。 我々は、PSS計量が捉えるべき以前の研究から着想を得た4つの基準に沿って摂動のセットを定義する:情報性、単純化、一貫性、忠実さ。 PLSにおけるテキストの単純化を評価するための新しい指標であるPOMMEを導入し、ドメイン内言語モデルとドメイン外言語モデルとの正規化パープレキシティ差として算出する。
• 参考スコア（独自算出の注目度）: 19.71833039463104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While there has been significant development of models for Plain Language Summarization (PLS), evaluation remains a challenge. PLS lacks a dedicated assessment metric, and the suitability of text generation evaluation metrics is unclear due to the unique transformations involved (e.g., adding background explanations, removing specialized terminology). To address these concerns, our study presents a granular meta-evaluation testbed, APPLS, designed to evaluate metrics for PLS. We define a set of perturbations along four criteria inspired by previous work that a PLS metric should capture: informativeness, simplification, coherence, and faithfulness. An analysis of metrics using our testbed reveals that current metrics fail to capture simplification consistently. In response, we introduce POMME, a new metric designed to assess text simplification in PLS; the metric is calculated as the normalized perplexity difference between an in-domain and out-of-domain language model. We demonstrate POMME's correlation with fine-grained variations in simplification and validate its sensitivity across 4 text simplification datasets. This work contributes the first meta-evaluation testbed for PLS and a comprehensive evaluation of existing metrics. The APPLS testbed and POMME is available at https://github.com/LinguisticAnomalies/APPLS.
• Abstract（参考訳）: PLS(Plain Language Summarization)のモデルの開発は進んでいるが、評価は依然として課題である。 PLSには専用の評価基準がなく、テキスト生成評価基準の適合性は、関連するユニークな変換(背景説明の追加、専門用語の削除など)のために不明確である。 これらの問題に対処するため,本研究では,PLSの指標評価を目的とした,詳細なメタ評価テストベッドであるAPPLSを提案する。 我々は、plsメトリックが捉えるべき以前の仕事から着想を得た4つの基準に沿って一連の摂動を定義する: 情報性、単純化、一貫性、忠実性。 テストベッドを使用したメトリクスの分析では、現在のメトリクスは、シンプルさを継続的に捉えることができません。 PLSにおけるテキストの単純化を評価するために設計された新しい指標であるPOMMEを導入し、ドメイン内モデルとドメイン外モデルとの正規化パープレクティリティ差として算出する。 本稿では,簡易化における細粒度変化とpommeの相関を示し,その感度を4つのテキスト簡易化データセットで検証する。 この研究は、plsのための最初のメタ評価テストベッドと既存のメトリクスの包括的な評価に寄与する。 APPLSテストベッドとPOMMEはhttps://github.com/LinguisticAnomalies/APPLSで入手できる。

関連論文リスト

• FineSurE: Fine-grained Summarization Evaluation using LLMs [22.62504593575933]
  FineSurEは,大規模言語モデル(LLM)を用いた要約タスクに適した,きめ細かい評価器である。 また、忠実さに加えて完全性と簡潔さの基準を採用し、多次元評価を可能にしている。
  論文  参考訳（メタデータ） (2024-07-01T02:20:28Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences [11.23629471911503]
  EvalGenは、評価基準の生成とアサーションの実装において、ユーザに自動アシストを提供する。 質的研究は、EvalGenに対する全体的なサポートを見出すが、主観性と反復的なアライメントのプロセスを強調している。 ユーザはアウトプットを格付けする基準が必要ですが、アウトプットのグレードは、ユーザが基準を定義するのに役立つのです。
  論文  参考訳（メタデータ） (2024-04-18T15:45:27Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
  基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。 本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2024-03-21T10:31:11Z)
• SemScore: Automated Evaluation of Instruction-Tuned LLMs based on Semantic Textual Similarity [3.3162484539136416]
  本稿では,SemScoreと呼ばれる簡易な評価尺度を提案する。 意味的テキスト類似度(STS)を用いたモデル出力とゴールドターゲット応答の比較 提案したSemScore測定基準は,人間の評価と相関する点において,より複雑な評価指標よりも優れていることが判明した。
  論文  参考訳（メタデータ） (2024-01-30T14:52:50Z)
• DecompEval: Evaluating Generated Texts as Unsupervised Decomposed Question Answering [95.89707479748161]
  自然言語生成タスク(NLG)の既存の評価指標は、一般化能力と解釈可能性の課題に直面している。 本稿では,NLG評価を命令型質問応答タスクとして定式化するDecompEvalというメトリクスを提案する。 本稿では,文の質を測る問合せに,文の質を問う指導スタイルの質問を分解する。 PLMが生成した回答を証拠として再検討し、評価結果を得る。
  論文  参考訳（メタデータ） (2023-07-13T16:16:51Z)
• TRUE: Re-evaluating Factual Consistency Evaluation [29.888885917330327]
  TRUE: 多様なタスクから既存のテキストの標準化されたコレクション上での、事実整合性メトリクスの総合的な研究である。 我々の標準化により、前述した相関よりも動作可能で解釈可能なサンプルレベルのメタ評価プロトコルが実現される。 さまざまな最先端のメトリクスと11のデータセットから、大規模NLIと質問生成と回答に基づくアプローチが、強力で相補的な結果をもたらすことが分かりました。
  論文  参考訳（メタデータ） (2022-04-11T10:14:35Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)
• Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary [65.37544133256499]
  質問回答(QA)を用いて要約内容の質を評価する指標を提案する。 提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
  論文  参考訳（メタデータ） (2020-10-01T15:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。