Fugu-MT 論文翻訳(概要): Simplicity Level Estimate (SLE): A Learned Reference-Less Metric for Sentence Simplification

論文の概要: Simplicity Level Estimate (SLE): A Learned Reference-Less Metric for Sentence Simplification

arxiv url: http://arxiv.org/abs/2310.08170v1
Date: Thu, 12 Oct 2023 09:49:10 GMT
ステータス: 処理完了
システム内更新日: 2023-10-14 12:01:50.154641
Title: Simplicity Level Estimate (SLE): A Learned Reference-Less Metric for Sentence Simplification
Title（参考訳）: simplicity Level Estimate (SLE): 文の簡易化のための学習基準値
Authors: Liam Cripwell, Jo\"el Legrand, Claire Gardent
Abstract要約: 文単純化のための学習評価基準(SLE)を提案する。 SLEは単純さに重点を置いており、人間の判断と相関して既存の指標のほとんどを上回ります。
参考スコア（独自算出の注目度）: 8.479659578608233
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Automatic evaluation for sentence simplification remains a challenging problem. Most popular evaluation metrics require multiple high-quality references -- something not readily available for simplification -- which makes it difficult to test performance on unseen domains. Furthermore, most existing metrics conflate simplicity with correlated attributes such as fluency or meaning preservation. We propose a new learned evaluation metric (SLE) which focuses on simplicity, outperforming almost all existing metrics in terms of correlation with human judgements.
Abstract（参考訳）: 文の簡略化のための自動評価は依然として難しい課題である。最も一般的な評価指標は、複数の高品質なリファレンス -- 簡単には利用できないもの -- を必要とするため、目に見えないドメインのパフォーマンスをテストするのは難しい。さらに、既存のメトリクスのほとんどは単純さを、流布や意味保存のような相関した属性で説明します。我々は,人間の判断との相関性の観点から,既存の測定基準をほぼすべて上回って,単純さに焦点を当てた新しい学習評価指標(sle)を提案する。

関連論文リスト

Evaluating Document Simplification: On the Importance of Separately Assessing Simplicity and Meaning Preservation [9.618393813409266]
本稿では,文書レベルの簡易化評価に焦点をあてる。我々は、意味の保存と単純化のために異なる指標を用いて既存のモデルを比較した。我々は、単純さのために参照なし計量変種を導入し、モデルは、単純化または意味保存のどちらにも偏っていることを示す。
論文参考訳（メタデータ） (2024-04-04T08:04:24Z)
REFeREE: A REference-FREE Model-Based Metric for Text Simplification [10.863256257378172]
REFeREEは3段階のカリキュラムを備えたモデルベースのメトリックである。実験の結果,REFeREEは,既存の基準基準指標よりも総合評価の精度が高く,特定の評価の予測において競合的かつ一貫した性能に到達し,推論時に参照の単純化を必要としないことがわかった。
論文参考訳（メタデータ） (2024-03-26T12:21:51Z)
An In-depth Evaluation of GPT-4 in Sentence Simplification with Error-based Human Assessment [10.816677544269782]
我々は,GPT-4の単純化機能を評価するために,エラーベースのヒューマンアノテーションフレームワークを設計する。その結果, GPT-4は, 現在の最先端技術と比較して, 誤りの低減出力が少ないことがわかった。
論文参考訳（メタデータ） (2024-03-08T00:19:24Z)
FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。 FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
論文参考訳（メタデータ） (2024-03-04T17:57:18Z)
Not All Metrics Are Guilty: Improving NLG Evaluation by Diversifying References [123.39034752499076]
Div-Refは、参照数を増やして評価ベンチマークを強化する方法である。本研究では,参照表現の多様化が自動評価と人的評価の相関性を大幅に向上させることを示す実験を行った。
論文参考訳（メタデータ） (2023-05-24T11:53:29Z)
SMART: Sentences as Basic Units for Text Evaluation [48.5999587529085]
本稿では,このような制約を緩和するSMARTと呼ばれる新しい指標を提案する。文をトークンの代わりにマッチングの基本単位として扱い,ソフトマッチ候補と参照文に文マッチング関数を用いる。この結果から,提案手法とモデルベースマッチング関数とのシステムレベルの相関は,全ての競合する指標よりも優れていた。
論文参考訳（メタデータ） (2022-08-01T17:58:05Z)
Document-Level Text Simplification: Dataset, Criteria and Baseline [75.58761130635824]
文書レベルのテキスト単純化の新しいタスクを定義し,検討する。 Wikipediaダンプに基づいて、我々はまずD-Wikipediaという大規模なデータセットを構築した。本稿では,文書レベルの単純化作業に適したD-SARIと呼ばれる新しい自動評価指標を提案する。
論文参考訳（メタデータ） (2021-10-11T08:15:31Z)
Rethinking Automatic Evaluation in Sentence Simplification [10.398614920404727]
文の簡略化に取り組むためのQuestEvalの簡単な修正を提案します。我々は,後者がBLEUやSARIといった標準指標よりも優れた,最先端の相関関係が得られることを示す。評価された単純化のコーパスを新たにリリースし,今回はシステムが生成するのではなく,人間が記述した。
論文参考訳（メタデータ） (2021-04-15T16:13:50Z)
Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary [65.37544133256499]
質問回答(QA)を用いて要約内容の質を評価する指標を提案する。提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
論文参考訳（メタデータ） (2020-10-01T15:33:09Z)
ASSET: A Dataset for Tuning and Evaluation of Sentence Simplification Models with Multiple Rewriting Transformations [97.27005783856285]
本稿では,英語で文の単純化を評価するための新しいデータセットであるASSETを紹介する。 ASSETの単純化は、タスクの他の標準評価データセットと比較して、単純さの特徴を捉えるのに優れていることを示す。
論文参考訳（メタデータ） (2020-05-01T16:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。