論文の概要: Do Automatic Factuality Metrics Measure Factuality? A Critical Evaluation

• arxiv url: http://arxiv.org/abs/2411.16638v3
• Date: Thu, 28 Nov 2024 13:33:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 11:38:28.138130
• Title: Do Automatic Factuality Metrics Measure Factuality? A Critical Evaluation
• Title（参考訳）: 自動ファクチュアリティ測定はファクチュアリティを測定するか? : 批判的評価
• Authors: Sanjana Ramprasad, Byron C. Wallace,
• Abstract要約: 「本研究は、要約文の表面的属性が事実性を予測するのに十分であるかどうかを考察する。」 そして, 実測値が矛盾した要約の事実的訂正にどのように反応するかを評価し, 有意義な改善を示すものはごくわずかであることを確認した。 これらの知見に触発されて、生成した要約に無害な文を付加することにより、(最も)自動的事実性指標、すなわち、確実に事実性スコアをインフレーションすることができることを示す。
• 参考スコア（独自算出の注目度）: 21.650619533772232
• License:
• Abstract: Modern LLMs can now produce highly readable abstractive summaries, to the point where traditional automated metrics for evaluating summary quality, such as ROUGE, have become saturated. However, LLMs still sometimes introduce unwanted content into summaries, i.e., information inconsistent with or unsupported by their source. Measuring the occurrence of these often subtle ``hallucinations'' automatically has proved to be challenging. This in turn has motivated development of a variety of metrics intended to measure the factual consistency of generated summaries against their source. But are these approaches measuring what they purport to do? In this work, we stress-test automatic factuality metrics. Specifically, we investigate whether and to what degree superficial attributes of summary texts suffice to predict ``factuality'', finding that a (supervised) model using only such shallow features is reasonably competitive with SOTA factuality scoring methods. We then evaluate how factuality metrics respond to factual corrections in inconsistent summaries and find that only a few show meaningful improvements. In contrast, some metrics are more sensitive to benign, non-factual edits. Motivated by these insights, we show that one can ``game'' (most) automatic factuality metrics, i.e., reliably inflate ``factuality'' scores by appending innocuous sentences to generated summaries. Taken together, our results raise questions about the degree to which we should rely on existing automated factuality metrics and what exactly we want ``factuality metrics'' to measure.
• Abstract（参考訳）: 現代のLLMは、ROUGEのような要約品質を評価するための伝統的な自動メトリクスが飽和している時点まで、高度に読みやすい抽象的な要約を生成することができる。 しかし、LLMは時折、必要のないコンテンツを要約に導入することがある。 このような微妙な『幻覚』の発生を自動で測定することは困難であることが判明した。 これは結果として、生成した要約のソースに対する実際の一貫性を測定するための様々なメトリクスの開発を動機付けている。 しかし、これらのアプローチは彼らがすべきことを測るのか? 本研究では,自動事実度指標をストレステストする。 具体的には,このような浅い特徴のみを用いた(教師付き)モデルが,SOTAの事実性評価手法と合理的に競合していることから,要約文の表層属性が「実写性」を予測するのに十分であるかどうかを検討する。 そして, 実測値が矛盾した要約の事実的訂正にどのように反応するかを評価し, 有意義な改善を示すものはごくわずかであることを確認した。 対照的に、いくつかのメトリクスは、良心的で非実写的な編集に敏感である。 これらの知見に触発されて、生成した要約に無害な文を付加することにより、‘ゲーム’(ほぼ)自動事実性指標、すなわち、確実に‘事実性’のスコアをインフレーションできることが示される。 まとめると、私たちの結果は、既存の自動化された事実度メトリクスにどの程度頼るべきか、そして計測する'実物度メトリクス'を正確に何が欲しいのか、という疑問を投げかけます。

関連論文リスト

• FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
  自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。 FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。 我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
  論文  参考訳（メタデータ） (2024-03-04T17:57:18Z)
• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)
• Evaluating the Factual Consistency of Large Language Models Through News Summarization [97.04685401448499]
  本稿では,要約タスクに着目したFIB(Factual Inconsistency Benchmark)と呼ばれる新しいベンチマークを提案する。 現実的に一貫した要約では、手作業で事実的に一貫したものとして検証する、人書きの参照要約を使用します。 現実的に矛盾しない要約に対して、我々は、事実的に矛盾しているとして手動で注釈付けした一連の要約モデルから要約を生成する。
  論文  参考訳（メタデータ） (2022-11-15T18:50:34Z)
• TRUE: Re-evaluating Factual Consistency Evaluation [29.888885917330327]
  TRUE: 多様なタスクから既存のテキストの標準化されたコレクション上での、事実整合性メトリクスの総合的な研究である。 我々の標準化により、前述した相関よりも動作可能で解釈可能なサンプルレベルのメタ評価プロトコルが実現される。 さまざまな最先端のメトリクスと11のデータセットから、大規模NLIと質問生成と回答に基づくアプローチが、強力で相補的な結果をもたらすことが分かりました。
  論文  参考訳（メタデータ） (2022-04-11T10:14:35Z)
• On Quantitative Evaluations of Counterfactuals [88.42660013773647]
  本稿では、分析と実験を通じて、視覚的対実例の評価に関する研究を集約する。 ほとんどのメトリクスは、十分な単純なデータセットを意図して振る舞うが、複雑さが増加すると、良い結果と悪い結果の違いを判断できないものもいる。 私たちはラベル変動スコアとOracleスコアという2つの新しい指標を提案しています。
  論文  参考訳（メタデータ） (2021-10-30T05:00:36Z)
• Improving Factual Consistency of Abstractive Summarization via Question Answering [25.725873545789046]
  要約における事実整合性に対処するアプローチを提案する。 まず,実体整合性を測定するための効率的な自動評価指標を提案する。 次に,モデル学習時に提案するメトリックを最大化する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T19:07:21Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。