Fugu-MT 論文翻訳(概要): Evaluating Document Simplification: On the Importance of Separately Assessing Simplicity and Meaning Preservation

論文の概要: Evaluating Document Simplification: On the Importance of Separately Assessing Simplicity and Meaning Preservation

arxiv url: http://arxiv.org/abs/2404.03278v1
Date: Thu, 4 Apr 2024 08:04:24 GMT
ステータス: 処理完了
システム内更新日: 2024-04-05 15:24:04.209534
Title: Evaluating Document Simplification: On the Importance of Separately Assessing Simplicity and Meaning Preservation
Title（参考訳）: 文書簡易化の評価 : 単純さと保存の意味を別々に評価することの重要性について
Authors: Liam Cripwell, Joël Legrand, Claire Gardent,
Abstract要約: 本稿では,文書レベルの簡易化評価に焦点をあてる。我々は、意味の保存と単純化のために異なる指標を用いて既存のモデルを比較した。我々は、単純さのために参照なし計量変種を導入し、モデルは、単純化または意味保存のどちらにも偏っていることを示す。
参考スコア（独自算出の注目度）: 9.618393813409266
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Text simplification intends to make a text easier to read while preserving its core meaning. Intuitively and as shown in previous works, these two dimensions (simplification and meaning preservation) are often-times inversely correlated. An overly conservative text will fail to simplify sufficiently, whereas extreme simplification will degrade meaning preservation. Yet, popular evaluation metrics either aggregate meaning preservation and simplification into a single score (SARI, LENS), or target meaning preservation alone (BERTScore, QuestEval). Moreover, these metrics usually require a set of references and most previous work has only focused on sentence-level simplification. In this paper, we focus on the evaluation of document-level text simplification and compare existing models using distinct metrics for meaning preservation and simplification. We leverage existing metrics from similar tasks and introduce a reference-less metric variant for simplicity, showing that models are mostly biased towards either simplification or meaning preservation, seldom performing well on both dimensions. Making use of the fact that the metrics we use are all reference-less, we also investigate the performance of existing models when applied to unseen data (where reference simplifications are unavailable).
Abstract（参考訳）: テキストの単純化は、中核的な意味を保ちながらテキストを読みやすくすることを目的としている。直感的に、以前の研究で示されているように、これらの2次元(単純化と保存の意味)はしばしば逆相関する。過度に保守的なテキストは十分に単純化できないが、極端な単純化は保存の意味を低下させる。しかし、一般的な評価指標は、単一のスコア(SARI, LENS)に集約された意味の保存と単純化、あるいは目標の意味の保存のみ(BERTScore, QuestEval)である。さらに、これらのメトリクスは通常参照のセットを必要とし、以前のほとんどの研究は文レベルの単純化にのみ焦点をあてている。本稿では,文書レベルのテキストの簡易化の評価に焦点をあて,意味の保存と簡易化のために異なる指標を用いて既存のモデルと比較する。我々は、類似したタスクから既存のメトリクスを活用し、シンプルさのために参照なしのメトリクス変種を導入し、モデルは、単純化または保存の意味の両方に偏りがあり、両方の次元でうまく機能することがほとんどないことを示す。私たちが使用しているメトリクスがすべて参照レスであるという事実を利用して、未確認のデータに適用する場合(参照の単純化が不可能な場合)に既存のモデルのパフォーマンスも調査します。

関連論文リスト

Analysing Zero-Shot Readability-Controlled Sentence Simplification [54.09069745799918]
本研究では,異なる種類の文脈情報が,所望の可読性を持つ文を生成するモデルの能力に与える影響について検討する。結果から,全ての試験されたモデルは,原文の制限や特徴のため,文の簡略化に苦慮していることがわかった。実験では、RCTSに合わせたより良い自動評価指標の必要性も強調した。
論文参考訳（メタデータ） (2024-09-30T12:36:25Z)
REFeREE: A REference-FREE Model-Based Metric for Text Simplification [10.863256257378172]
REFeREEは3段階のカリキュラムを備えたモデルベースのメトリックである。実験の結果,REFeREEは,既存の基準基準指標よりも総合評価の精度が高く,特定の評価の予測において競合的かつ一貫した性能に到達し,推論時に参照の単純化を必要としないことがわかった。
論文参考訳（メタデータ） (2024-03-26T12:21:51Z)
Simplicity Level Estimate (SLE): A Learned Reference-Less Metric for Sentence Simplification [8.479659578608233]
文単純化のための学習評価基準(SLE)を提案する。 SLEは単純さに重点を置いており、人間の判断と相関して既存の指標のほとんどを上回ります。
論文参考訳（メタデータ） (2023-10-12T09:49:10Z)
On the Limitations of Reference-Free Evaluations of Generated Text [64.81682222169113]
基準のないメトリクスは本質的にバイアスがあり、生成したテキストを評価する能力に制限があることを示す。機械翻訳や要約といったタスクの進捗を計測するために使用するべきではない、と我々は主張する。
論文参考訳（メタデータ） (2022-10-22T22:12:06Z)
SMART: Sentences as Basic Units for Text Evaluation [48.5999587529085]
本稿では,このような制約を緩和するSMARTと呼ばれる新しい指標を提案する。文をトークンの代わりにマッチングの基本単位として扱い,ソフトマッチ候補と参照文に文マッチング関数を用いる。この結果から,提案手法とモデルベースマッチング関数とのシステムレベルの相関は,全ての競合する指標よりも優れていた。
論文参考訳（メタデータ） (2022-08-01T17:58:05Z)
Document-Level Text Simplification: Dataset, Criteria and Baseline [75.58761130635824]
文書レベルのテキスト単純化の新しいタスクを定義し,検討する。 Wikipediaダンプに基づいて、我々はまずD-Wikipediaという大規模なデータセットを構築した。本稿では,文書レベルの単純化作業に適したD-SARIと呼ばれる新しい自動評価指標を提案する。
論文参考訳（メタデータ） (2021-10-11T08:15:31Z)
Rethinking Automatic Evaluation in Sentence Simplification [10.398614920404727]
文の簡略化に取り組むためのQuestEvalの簡単な修正を提案します。我々は,後者がBLEUやSARIといった標準指標よりも優れた,最先端の相関関係が得られることを示す。評価された単純化のコーパスを新たにリリースし,今回はシステムが生成するのではなく,人間が記述した。
論文参考訳（メタデータ） (2021-04-15T16:13:50Z)
Understanding the Extent to which Summarization Evaluation Metrics Measure the Information Quality of Summaries [74.28810048824519]
ROUGEとBERTScoreのトークンアライメントを分析し、要約を比較する。それらのスコアは、情報の重複を測定するものとしては解釈できない、と我々は主張する。
論文参考訳（メタデータ） (2020-10-23T15:55:15Z)
Small but Mighty: New Benchmarks for Split and Rephrase [18.959219419951083]
Split and Rephraseは、複雑な文をシンプルに書き換えるテキスト単純化タスクである。広く使われているベンチマークデータセットは、簡単に利用できる構文的手がかりを普遍的に含んでいることがわかった。単純なルールベースモデルであっても,最先端モデルと同等に動作可能であることを示す。
論文参考訳（メタデータ） (2020-09-17T23:37:33Z)
ASSET: A Dataset for Tuning and Evaluation of Sentence Simplification Models with Multiple Rewriting Transformations [97.27005783856285]
本稿では,英語で文の単純化を評価するための新しいデータセットであるASSETを紹介する。 ASSETの単純化は、タスクの他の標準評価データセットと比較して、単純さの特徴を捉えるのに優れていることを示す。
論文参考訳（メタデータ） (2020-05-01T16:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。