論文の概要: Language Model Augmented Relevance Score

• arxiv url: http://arxiv.org/abs/2108.08485v1
• Date: Thu, 19 Aug 2021 03:59:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-20 14:44:06.067281
• Title: Language Model Augmented Relevance Score
• Title（参考訳）: 言語モデル拡張関連スコア
• Authors: Ruibo Liu, Jason Wei, Soroush Vosoughi
• Abstract要約: Language Model Augmented Relevance Score (MARS)は、NLG評価のための新しい文脈対応メトリックである。 MARSは、強化学習によってガイドされる既製の言語モデルを使用して、生成コンテキストと利用可能な人間の参照の両方を考慮した拡張参照を生成する。
• 参考スコア（独自算出の注目度）: 2.8314622515446835
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Although automated metrics are commonly used to evaluate NLG systems, they often correlate poorly with human judgements. Newer metrics such as BERTScore have addressed many weaknesses in prior metrics such as BLEU and ROUGE, which rely on n-gram matching. These newer methods, however, are still limited in that they do not consider the generation context, so they cannot properly reward generated text that is correct but deviates from the given reference. In this paper, we propose Language Model Augmented Relevance Score (MARS), a new context-aware metric for NLG evaluation. MARS leverages off-the-shelf language models, guided by reinforcement learning, to create augmented references that consider both the generation context and available human references, which are then used as additional references to score generated text. Compared with seven existing metrics in three common NLG tasks, MARS not only achieves higher correlation with human reference judgements, but also differentiates well-formed candidates from adversarial samples to a larger degree.
• Abstract（参考訳）: 自動メトリクスは一般的にNLGシステムの評価に使用されるが、人間の判断と相関しないことが多い。 BERTScoreのような新しいメトリクスは、n-gramマッチングに依存するBLEUやROUGEといった以前のメトリクスの多くの弱点に対処している。 しかし、これらの新しい方法は、生成コンテキストを考慮しないという点で依然として制限されているため、与えられた参照から逸脱した生成テキストを適切に報酬できない。 本稿では,nlg評価のための新しい文脈認識指標である言語モデル拡張関連スコア(mars)を提案する。 MARSは、強化学習によって導かれる既製の言語モデルを活用して、生成コンテキストと利用可能な人間の参照の両方を考慮した拡張参照を生成し、生成したテキストをスコアする追加参照として使用する。 3つの共通NLGタスクにおける既存の7つの指標と比較すると、MARSは人間の基準判断と高い相関を達成できるだけでなく、優れた候補を敵のサンプルと大きく区別する。

関連論文リスト

• Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
  基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。 本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2024-03-21T10:31:11Z)
• Unsupervised Approach to Evaluate Sentence-Level Fluency: Do We Really Need Reference? [3.2528685897001455]
  本報告では,参照を必要とせず,既存の教師なし手法を用いてテキストの流速を計測する。 提案手法では,様々な単語埋め込みを活用し,RNNアーキテクチャを用いて言語モデルを訓練する。 モデルの性能を評価するため,10言語を対象に比較分析を行った。
  論文  参考訳（メタデータ） (2023-12-03T20:09:23Z)
• Towards Multiple References Era -- Addressing Data Leakage and Limited Reference Diversity in NLG Evaluation [55.92852268168816]
  BLEUやchrFのようなN-gramマッチングに基づく評価指標は、自然言語生成(NLG)タスクで広く利用されている。 近年の研究では、これらのマッチングベースの指標と人間の評価との間には弱い相関関係が示されている。 本稿では,これらの指標と人的評価の整合性を高めるために,テキストマルチプル参照を利用することを提案する。
  論文  参考訳（メタデータ） (2023-08-06T14:49:26Z)
• Not All Metrics Are Guilty: Improving NLG Evaluation by Diversifying References [123.39034752499076]
  Div-Refは、参照数を増やして評価ベンチマークを強化する方法である。 本研究では,参照表現の多様化が自動評価と人的評価の相関性を大幅に向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-05-24T11:53:29Z)
• G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment [64.01972723692587]
  本稿では,大規模言語モデルにチェーン・オブ・シント(CoT)を組み込んだフレームワークであるG-Evalと,NLG出力の品質評価のためのフォームフィリングパラダイムを提案する。 GPT-4 をバックボーンモデルとした G-Eval は,要約タスクにおいて,0.514 と人間とのスピアマン相関を達成し,従来手法の差を大きく上回ることを示す。
  論文  参考訳（メタデータ） (2023-03-29T12:46:54Z)
• Bidimensional Leaderboards: Generate and Evaluate Language Hand in Hand [117.62186420147563]
  リーダーボード, 二次元リーダーボード(ビルボード)の一般化を提案する。 従来の一次元のリーダーボードがシステムに所定の基準でソートするのとは異なり、ビルボードはジェネレータと評価指標の両方を競合するエントリとして受け入れる。 いくつかの異なるメトリクスの線形アンサンブルが、場合によっては既存のメトリクスを独立して大幅に上回っていることを実証する。
  論文  参考訳（メタデータ） (2021-12-08T06:34:58Z)
• UNION: An Unreferenced Metric for Evaluating Open-ended Story Generation [92.42032403795879]
  UNIONは、オープンなストーリー生成を評価するための、学習可能な未参照メトリックである。 人書きストーリーとネガティブなサンプルを区別し、ネガティブなストーリーの摂動を回復するように訓練されている。 2つのストーリーデータセットの実験では、UNIONが生成されたストーリーの品質を評価するための信頼性の高い尺度であることが示されている。
  論文  参考訳（メタデータ） (2020-09-16T11:01:46Z)
• BLEU might be Guilty but References are not Innocent [34.817010352734]
  我々は,参照を収集し,その価値を自動評価で比較するための異なる手法について検討する。 典型的参照が多様性に乏しく、翻訳言語を中心にして、パラフレーズ化タスクを開発することに動機づけられた。 提案手法は,WMT 2019英語をドイツ語に投稿するだけでなく,バックトランスレーションやAPE拡張MT出力に対しても高い相関性を示す。
  論文  参考訳（メタデータ） (2020-04-13T16:49:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。