論文の概要: Not All Errors are Equal: Learning Text Generation Metrics using Stratified Error Synthesis

• arxiv url: http://arxiv.org/abs/2210.05035v1
• Date: Mon, 10 Oct 2022 22:30:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 13:52:21.642039
• Title: Not All Errors are Equal: Learning Text Generation Metrics using Stratified Error Synthesis
• Title（参考訳）: すべてのエラーが等しくない:階層化されたエラー合成を用いたテキスト生成メトリクスの学習
• Authors: Wenda Xu, Yilin Tuan, Yujie Lu, Michael Saxon, Lei Li, William Yang Wang
• Abstract要約: 人間のアノテーションを必要とせずに、人間の判断と高い相関関係を持つモデルベースの計量であるSESCOREを紹介する。 既存の指標に対してSESCOREを評価し,そのスコアと人間の評価との関係を比較検討した。 SESCOREは、人間による注釈付きトレーニングデータを受け取らず、最高の教師付きメトリックCOMETに匹敵するパフォーマンスを達成している。
• 参考スコア（独自算出の注目度）: 79.18261352971284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Is it possible to build a general and automatic natural language generation (NLG) evaluation metric? Existing learned metrics either perform unsatisfactorily or are restricted to tasks where large human rating data is already available. We introduce SESCORE, a model-based metric that is highly correlated with human judgements without requiring human annotation, by utilizing a novel, iterative error synthesis and severity scoring pipeline. This pipeline applies a series of plausible errors to raw text and assigns severity labels by simulating human judgements with entailment. We evaluate SESCORE against existing metrics by comparing how their scores correlate with human ratings. SESCORE outperforms all prior unsupervised metrics on multiple diverse NLG tasks including machine translation, image captioning, and WebNLG text generation. For WMT 20/21 En-De and Zh-En, SESCORE improve the average Kendall correlation with human judgement from 0.154 to 0.195. SESCORE even achieves comparable performance to the best supervised metric COMET, despite receiving no human-annotated training data.
• Abstract（参考訳）: 汎用的で自動的な自然言語生成(nlg)の評価指標を構築することは可能か? 既存の学習メトリクスは不満足に動作するか、あるいは人間の評価データがすでに利用可能になっているタスクに限定される。 本稿では,新たな反復的誤り合成と重度スコアリングパイプラインを活用することで,人間のアノテーションを必要とせず,人間の判断と高い相関性を持つモデルに基づく指標SESCOREを紹介する。 このパイプラインは、生のテキストに一連の妥当な誤りを適用し、人間の判断と補足をシミュレートして重大度ラベルを割り当てる。 我々は,既存の指標に対するスコアと人間の評価との相関性を比較し,sescoreを評価した。 SESCOREは、機械翻訳、画像キャプション、WebNLGテキスト生成など、さまざまなNLGタスクにおいて、以前の教師なしメトリクスよりも優れています。 WMT 20/21 En-De と Zh-En では,SESCORE は人間の判断と平均ケンドール相関を 0.154 から 0.195 に改善した。 SESCOREは、人間による注釈付きトレーニングデータを受け取らず、最高の教師付きメトリックCOMETと同等のパフォーマンスを達成している。

関連論文リスト

• TIGERScore: Towards Building Explainable Metric for All Text Generation Tasks [44.801746603656504]
  TIGERScore は textbfInstruction textbfGuidance に従って textbfExplainable および textbfReference-free 評価を行う。 我々のメトリクスは、厳密にキュレートされた命令チューニングデータセット MetricInstruct に基づいて訓練された LLaMA-2 に基づいている。
  論文  参考訳（メタデータ） (2023-10-01T18:01:51Z)
• INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained Feedback [80.57617091714448]
  テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。 LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:22Z)
• On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
  テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。 我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。 私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
  論文  参考訳（メタデータ） (2022-12-20T06:24:25Z)
• BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of Faithfulness Metrics [70.52570641514146]
  不誠実な最小対 (BUMP) のベンチマークを示す。 BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。 非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
  論文  参考訳（メタデータ） (2022-12-20T02:17:30Z)
• SESCORE2: Learning Text Generation Evaluation via Synthesizing Realistic Mistakes [93.19166902594168]
  テキスト生成評価のためのモデルベースメトリックを学習するための自己教師型アプローチSESCORE2を提案する。 鍵となる概念は、コーパスから取得した文を摂動することで、現実的なモデルミスを合成することである。 3言語にわたる4つのテキスト生成タスクにおいて,SESCORE2とそれ以前の手法を評価する。
  論文  参考訳（メタデータ） (2022-12-19T09:02:16Z)
• CTRLEval: An Unsupervised Reference-Free Metric for Evaluating Controlled Text Generation [85.03709740727867]
  制御されたテキスト生成モデルを評価するために,教師なし参照自由度であるEvalを提案する。 Evalは、事前訓練された言語モデルから生成確率をモデルトレーニングなしで組み立てる。 実験の結果,我々の測定値は他の基準値よりも人間の判断と高い相関関係があることが判明した。
  論文  参考訳（メタデータ） (2022-04-02T13:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。