Fugu-MT 論文翻訳(概要): Simple-QE: Better Automatic Quality Estimation for Text Simplification

論文の概要: Simple-QE: Better Automatic Quality Estimation for Text Simplification

arxiv url: http://arxiv.org/abs/2012.12382v1
Date: Tue, 22 Dec 2020 22:02:37 GMT
ステータス: 処理完了
システム内更新日: 2021-04-26 08:49:30.290248
Title: Simple-QE: Better Automatic Quality Estimation for Text Simplification
Title（参考訳）: Simple-QE: テキスト簡易化のための自動品質評価の改善
Authors: Reno Kriz, Marianna Apidianaki, Chris Callison-Burch
Abstract要約: 事前要約QE作業から適合したBERTに基づく品質推定(QE)モデルであるSimple-QEを提案する。単純QEは人的品質判断とよく相関していることを示す。また,人文テキストの複雑さを正確に予測するために,この手法を適用できることも示している。
参考スコア（独自算出の注目度）: 22.222195626377907
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Text simplification systems generate versions of texts that are easier to understand for a broader audience. The quality of simplified texts is generally estimated using metrics that compare to human references, which can be difficult to obtain. We propose Simple-QE, a BERT-based quality estimation (QE) model adapted from prior summarization QE work, and show that it correlates well with human quality judgments. Simple-QE does not require human references, which makes the model useful in a practical setting where users would need to be informed about the quality of generated simplifications. We also show that we can adapt this approach to accurately predict the complexity of human-written texts.
Abstract（参考訳）: テキスト単純化システムは、より広い読者にとって理解しやすいテキストのバージョンを生成する。簡易テキストの品質は一般に、人間の参照と比較する指標を用いて推定されるが、取得が困難である。本稿では,事前要約qe作業から適応した,bertに基づく品質推定(qe)モデルであるsimple-qeを提案する。単純なQEは人間の参照を必要としないため、モデルはユーザが生成した単純化の質を知らせる必要がある実践的な環境で有用である。また,本手法を用いて人文テキストの複雑さを正確に予測できることを示す。

関連論文リスト

Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
論文参考訳（メタデータ） (2024-10-09T22:53:48Z)
Analysing Zero-Shot Readability-Controlled Sentence Simplification [54.09069745799918]
本研究では,異なる種類の文脈情報が,所望の可読性を持つ文を生成するモデルの能力に与える影響について検討する。結果から,全ての試験されたモデルは,原文の制限や特徴のため,文の簡略化に苦慮していることがわかった。実験では、RCTSに合わせたより良い自動評価指標の必要性も強調した。
論文参考訳（メタデータ） (2024-09-30T12:36:25Z)
PROXYQA: An Alternative Framework for Evaluating Long-Form Text Generation with Large Language Models [72.57329554067195]
ProxyQAは、長文生成を評価するための革新的なフレームワークである。さまざまなドメインにまたがる詳細なヒューマンキュレートされたメタクエストで構成されており、それぞれに事前にアノテートされた回答を持つ特定のプロキシクエストが伴っている。プロキシクエリに対処する際の評価器の精度を通じて、生成されたコンテンツの品質を評価する。
論文参考訳（メタデータ） (2024-01-26T18:12:25Z)
Do Text Simplification Systems Preserve Meaning? A Human Evaluation via Reading Comprehension [22.154454849167077]
簡単な文章が意味を保っているかどうかを,読解質問を用いて評価するための人的評価フレームワークを提案する。我々は、人間によるテキストと9つの自動システムによるテキストの徹底的な評価を行う。
論文参考訳（メタデータ） (2023-12-15T14:26:06Z)
Evaluation Metrics of Language Generation Models for Synthetic Traffic Generation Tasks [22.629816738693254]
BLEUのような一般的なNLGメトリクスは、合成トラフィック生成(STG)の評価には適していないことを示す。生成したトラフィックと実際のユーザテキストの分布を比較するために設計されたいくつかの指標を提案し,評価する。
論文参考訳（メタデータ） (2023-11-21T11:26:26Z)
Simplicity Level Estimate (SLE): A Learned Reference-Less Metric for Sentence Simplification [8.479659578608233]
文単純化のための学習評価基準(SLE)を提案する。 SLEは単純さに重点を置いており、人間の判断と相関して既存の指標のほとんどを上回ります。
論文参考訳（メタデータ） (2023-10-12T09:49:10Z)
LENS: A Learnable Evaluation Metric for Text Simplification [17.48383068498169]
テキスト単純化のための学習可能な評価指標であるLENSを提案する。また、ランクとレートについても紹介します。これは、リストワイドで複数のモデルから単純化を評価する人間の評価フレームワークです。
論文参考訳（メタデータ） (2022-12-19T18:56:52Z)
Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
論文参考訳（メタデータ） (2022-05-15T12:58:35Z)
Evaluating Factuality in Text Simplification [43.94402649899681]
標準的な単純化データセットから抽出された参照と最先端のモデル出力の両方を解析するために,エラーの分類を導入する。既存の評価指標では捉えられないエラーが、両方に現れることがよくあります。
論文参考訳（メタデータ） (2022-04-15T17:37:09Z)
Document-Level Text Simplification: Dataset, Criteria and Baseline [75.58761130635824]
文書レベルのテキスト単純化の新しいタスクを定義し,検討する。 Wikipediaダンプに基づいて、我々はまずD-Wikipediaという大規模なデータセットを構築した。本稿では,文書レベルの単純化作業に適したD-SARIと呼ばれる新しい自動評価指標を提案する。
論文参考訳（メタデータ） (2021-10-11T08:15:31Z)
Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary [65.37544133256499]
質問回答(QA)を用いて要約内容の質を評価する指標を提案する。提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
論文参考訳（メタデータ） (2020-10-01T15:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。