Fugu-MT 論文翻訳(概要): REFeREE: A REference-FREE Model-Based Metric for Text Simplification

論文の概要: REFeREE: A REference-FREE Model-Based Metric for Text Simplification

arxiv url: http://arxiv.org/abs/2403.17640v1
Date: Tue, 26 Mar 2024 12:21:51 GMT
ステータス: 処理完了
システム内更新日: 2024-03-27 15:37:32.146803
Title: REFeREE: A REference-FREE Model-Based Metric for Text Simplification
Title（参考訳）: REFeREE: テキスト単純化のための参照フリーモデルベースメトリクス
Authors: Yichen Huang, Ekaterina Kochmar,
Abstract要約: REFeREEは3段階のカリキュラムを備えたモデルベースのメトリックである。実験の結果,REFeREEは,既存の基準基準指標よりも総合評価の精度が高く,特定の評価の予測において競合的かつ一貫した性能に到達し,推論時に参照の単純化を必要としないことがわかった。
参考スコア（独自算出の注目度）: 10.863256257378172
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Text simplification lacks a universal standard of quality, and annotated reference simplifications are scarce and costly. We propose to alleviate such limitations by introducing REFeREE, a reference-free model-based metric with a 3-stage curriculum. REFeREE leverages an arbitrarily scalable pretraining stage and can be applied to any quality standard as long as a small number of human annotations are available. Our experiments show that our metric outperforms existing reference-based metrics in predicting overall ratings and reaches competitive and consistent performance in predicting specific ratings while requiring no reference simplifications at inference time.
Abstract（参考訳）: テキストの単純化は品質の普遍的な標準に欠けており、注釈付き参照の単純化は少なく費用もかかる。本稿では,3段階のカリキュラムを備えた参照フリーモデルベースメトリクスREFeREEを導入することで,そのような制約を軽減することを提案する。 REFeREEは任意にスケーラブルな事前トレーニングステージを活用し、少数の人間が利用できる限り、あらゆる品質基準に適用できる。実験の結果,評価基準の精度は既存の基準基準指標よりも優れており,評価基準の精度は高いが,評価基準の簡易化は不要であることがわかった。

関連論文リスト

Analysing Zero-Shot Readability-Controlled Sentence Simplification [54.09069745799918]
本研究では,異なる種類の文脈情報が,所望の可読性を持つ文を生成するモデルの能力に与える影響について検討する。結果から,全ての試験されたモデルは,原文の制限や特徴のため,文の簡略化に苦慮していることがわかった。実験では、RCTSに合わせたより良い自動評価指標の必要性も強調した。
論文参考訳（メタデータ） (2024-09-30T12:36:25Z)
Evaluating Document Simplification: On the Importance of Separately Assessing Simplicity and Meaning Preservation [9.618393813409266]
本稿では,文書レベルの簡易化評価に焦点をあてる。我々は、意味の保存と単純化のために異なる指標を用いて既存のモデルを比較した。我々は、単純さのために参照なし計量変種を導入し、モデルは、単純化または意味保存のどちらにも偏っていることを示す。
論文参考訳（メタデータ） (2024-04-04T08:04:24Z)
FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。 FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
論文参考訳（メタデータ） (2024-03-04T17:57:18Z)
Simplicity Level Estimate (SLE): A Learned Reference-Less Metric for Sentence Simplification [8.479659578608233]
文単純化のための学習評価基準(SLE)を提案する。 SLEは単純さに重点を置いており、人間の判断と相関して既存の指標のほとんどを上回ります。
論文参考訳（メタデータ） (2023-10-12T09:49:10Z)
DocAsRef: An Empirical Study on Repurposing Reference-Based Summary Quality Metrics Reference-Freely [29.4981129248937]
そこで本論文では,参照に基づくメトリクスを効果的に適用して,対応する参照に対してシステム概要を評価することを提案する。ゼロショットのBERTScoreは、参照フリーで再利用された後、オリジナルの参照ベースバージョンよりも一貫してパフォーマンスが向上した。 GPT-3.5に基づくゼロショット要約評価器と密接に競合する。
論文参考訳（メタデータ） (2022-12-20T06:01:13Z)
On the Limitations of Reference-Free Evaluations of Generated Text [64.81682222169113]
基準のないメトリクスは本質的にバイアスがあり、生成したテキストを評価する能力に制限があることを示す。機械翻訳や要約といったタスクの進捗を計測するために使用するべきではない、と我々は主張する。
論文参考訳（メタデータ） (2022-10-22T22:12:06Z)
Embarrassingly Easy Document-Level MT Metrics: How to Convert Any Pretrained Metric Into a Document-Level Metric [15.646714712131148]
文書レベルでコンテキストを組み込むための事前学習メトリクスを拡張する手法を提案する。その結果, 実験条件の約85%において, 文章レベルの指標よりも高い結果が得られた。我々の実験結果は、私たちの最初の仮説を支持し、メトリクスの単純な拡張によってコンテキストを活用できることを示す。
論文参考訳（メタデータ） (2022-09-27T19:42:22Z)
SMART: Sentences as Basic Units for Text Evaluation [48.5999587529085]
本稿では,このような制約を緩和するSMARTと呼ばれる新しい指標を提案する。文をトークンの代わりにマッチングの基本単位として扱い,ソフトマッチ候補と参照文に文マッチング関数を用いる。この結果から,提案手法とモデルベースマッチング関数とのシステムレベルの相関は,全ての競合する指標よりも優れていた。
論文参考訳（メタデータ） (2022-08-01T17:58:05Z)
Spurious Correlations in Reference-Free Evaluation of Text Generation [35.80256755393739]
本研究では,要約とダイアログ生成の基準フリー評価指標が,単語重複,パープレキシティ,長さなどの指標と急激な相関に依拠していることを示す。評価指標を明示的に設計し,参照不要な評価の急激な特徴を避けることで,これらの誤差を軽減できることを実証する。
論文参考訳（メタデータ） (2022-04-21T05:32:38Z)
REAM$\sharp$: An Enhancement Approach to Reference-based Evaluation Metrics for Open-domain Dialog Generation [63.46331073232526]
オープンドメイン対話システムにおける参照ベースのEvAluation Metricsの拡張手法を提案する。予測モデルは、与えられた基準セットの信頼性を推定するように設計されている。本稿では,その予測結果が参照集合の増大にどのように役立つかを示し,測定値の信頼性を向上させる。
論文参考訳（メタデータ） (2021-05-30T10:04:13Z)
Unsupervised Reference-Free Summary Quality Evaluation via Contrastive Learning [66.30909748400023]
教師なしコントラスト学習により,参照要約を使わずに要約品質を評価することを提案する。具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。ニューズルームとCNN/デイリーメールの実験では,新たな評価手法が参照サマリーを使わずに他の指標よりも優れていることが示された。
論文参考訳（メタデータ） (2020-10-05T05:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。