論文の概要: Simple-QE: Better Automatic Quality Estimation for Text Simplification
- arxiv url: http://arxiv.org/abs/2012.12382v1
- Date: Tue, 22 Dec 2020 22:02:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-26 08:49:30.290248
- Title: Simple-QE: Better Automatic Quality Estimation for Text Simplification
- Title(参考訳): Simple-QE: テキスト簡易化のための自動品質評価の改善
- Authors: Reno Kriz, Marianna Apidianaki, Chris Callison-Burch
- Abstract要約: 事前要約QE作業から適合したBERTに基づく品質推定(QE)モデルであるSimple-QEを提案する。
単純QEは人的品質判断とよく相関していることを示す。
また,人文テキストの複雑さを正確に予測するために,この手法を適用できることも示している。
- 参考スコア(独自算出の注目度): 22.222195626377907
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Text simplification systems generate versions of texts that are easier to
understand for a broader audience. The quality of simplified texts is generally
estimated using metrics that compare to human references, which can be
difficult to obtain. We propose Simple-QE, a BERT-based quality estimation (QE)
model adapted from prior summarization QE work, and show that it correlates
well with human quality judgments. Simple-QE does not require human references,
which makes the model useful in a practical setting where users would need to
be informed about the quality of generated simplifications. We also show that
we can adapt this approach to accurately predict the complexity of
human-written texts.
- Abstract(参考訳): テキスト単純化システムは、より広い読者にとって理解しやすいテキストのバージョンを生成する。
簡易テキストの品質は一般に、人間の参照と比較する指標を用いて推定されるが、取得が困難である。
本稿では,事前要約qe作業から適応した,bertに基づく品質推定(qe)モデルであるsimple-qeを提案する。
単純なQEは人間の参照を必要としないため、モデルはユーザが生成した単純化の質を知らせる必要がある実践的な環境で有用である。
また,本手法を用いて人文テキストの複雑さを正確に予測できることを示す。
関連論文リスト
- Do Text Simplification Systems Preserve Meaning? A Human Evaluation via
Reading Comprehension [22.154454849167077]
簡単な文章が意味を保っているかどうかを,読解質問を用いて評価するための人的評価フレームワークを提案する。
我々は、人間によるテキストと9つの自動システムによるテキストの徹底的な評価を行う。
論文 参考訳(メタデータ) (2023-12-15T14:26:06Z) - Evaluation Metrics of Language Generation Models for Synthetic Traffic
Generation Tasks [22.629816738693254]
BLEUのような一般的なNLGメトリクスは、合成トラフィック生成(STG)の評価には適していないことを示す。
生成したトラフィックと実際のユーザテキストの分布を比較するために設計されたいくつかの指標を提案し,評価する。
論文 参考訳(メタデータ) (2023-11-21T11:26:26Z) - Simplicity Level Estimate (SLE): A Learned Reference-Less Metric for
Sentence Simplification [8.479659578608233]
文単純化のための学習評価基準(SLE)を提案する。
SLEは単純さに重点を置いており、人間の判断と相関して既存の指標のほとんどを上回ります。
論文 参考訳(メタデータ) (2023-10-12T09:49:10Z) - SQUARE: Automatic Question Answering Evaluation using Multiple Positive
and Negative References [73.67707138779245]
SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。
文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
論文 参考訳(メタデータ) (2023-09-21T16:51:30Z) - LENS: A Learnable Evaluation Metric for Text Simplification [17.48383068498169]
テキスト単純化のための学習可能な評価指標であるLENSを提案する。
また、ランクとレートについても紹介します。これは、リストワイドで複数のモデルから単純化を評価する人間の評価フレームワークです。
論文 参考訳(メタデータ) (2022-12-19T18:56:52Z) - Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。
同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
論文 参考訳(メタデータ) (2022-05-15T12:58:35Z) - Evaluating Factuality in Text Simplification [43.94402649899681]
標準的な単純化データセットから抽出された参照と最先端のモデル出力の両方を解析するために,エラーの分類を導入する。
既存の評価指標では捉えられないエラーが、両方に現れることがよくあります。
論文 参考訳(メタデータ) (2022-04-15T17:37:09Z) - Document-Level Text Simplification: Dataset, Criteria and Baseline [75.58761130635824]
文書レベルのテキスト単純化の新しいタスクを定義し,検討する。
Wikipediaダンプに基づいて、我々はまずD-Wikipediaという大規模なデータセットを構築した。
本稿では,文書レベルの単純化作業に適したD-SARIと呼ばれる新しい自動評価指標を提案する。
論文 参考訳(メタデータ) (2021-10-11T08:15:31Z) - Towards Question-Answering as an Automatic Metric for Evaluating the
Content Quality of a Summary [65.37544133256499]
質問回答(QA)を用いて要約内容の質を評価する指標を提案する。
提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
論文 参考訳(メタデータ) (2020-10-01T15:33:09Z) - Generating Diverse and Consistent QA pairs from Contexts with
Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。
我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
論文 参考訳(メタデータ) (2020-05-28T08:26:06Z) - ASSET: A Dataset for Tuning and Evaluation of Sentence Simplification
Models with Multiple Rewriting Transformations [97.27005783856285]
本稿では,英語で文の単純化を評価するための新しいデータセットであるASSETを紹介する。
ASSETの単純化は、タスクの他の標準評価データセットと比較して、単純さの特徴を捉えるのに優れていることを示す。
論文 参考訳(メタデータ) (2020-05-01T16:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。