論文の概要: Reranking-based Generation for Unbiased Perspective Summarization

• arxiv url: http://arxiv.org/abs/2506.15925v1
• Date: Thu, 19 Jun 2025 00:01:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.887599
• Title: Reranking-based Generation for Unbiased Perspective Summarization
• Title（参考訳）: アンバイアス・パースペクティブ・サマライゼーションのためのリグレードベース生成法
• Authors: Narutatsu Ri, Nicholas Deas, Kathleen McKeown,
• Abstract要約: 我々は,人間のアノテーションを用いて,計量信頼性をベンチマークするテストセットを開発した。 従来の指標は言語モデルに基づく指標に比べて性能が低いことが示され、強力な評価指標であることが証明された。 本研究の目的は,視点要約手法の信頼性評価と開発に寄与することである。
• 参考スコア（独自算出の注目度）: 10.71668103641552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating unbiased summaries in real-world settings such as political perspective summarization remains a crucial application of Large Language Models (LLMs). Yet, existing evaluation frameworks rely on traditional metrics for measuring key attributes such as coverage and faithfulness without verifying their applicability, and efforts to develop improved summarizers are still nascent. We address these gaps by (1) identifying reliable metrics for measuring perspective summary quality, and (2) investigating the efficacy of LLM-based methods beyond zero-shot inference. Namely, we build a test set for benchmarking metric reliability using human annotations and show that traditional metrics underperform compared to language model-based metrics, which prove to be strong evaluators. Using these metrics, we show that reranking-based methods yield strong results, and preference tuning with synthetically generated and reranking-labeled data further boosts performance. Our findings aim to contribute to the reliable evaluation and development of perspective summarization methods.
• Abstract（参考訳）: 政治的観点からの要約のような現実の環境でバイアスのない要約を生成することは、Large Language Models (LLMs) の重要な応用である。 しかし、既存の評価フレームワークは、適用性を検証することなく、カバレッジや忠実さなどの重要な属性を測定するために伝統的なメトリクスに依存しており、改善された要約器の開発努力はまだ初期段階である。 本研究は,(1)視点要約品質を測定するための信頼性指標を同定し,(2)ゼロショット推論を超えたLCM法の有効性を検討することによって,これらのギャップに対処する。 すなわち、人間のアノテーションを使ってメトリクスの信頼性をベンチマークするテストセットを構築し、従来のメトリクスが言語モデルベースのメトリクスよりも性能が劣っていることを示す。 これらの測定値を用いて、再ランク法により強い結果が得られ、合成および再ランク付きデータによる選好調整により、さらに性能が向上することを示す。 本研究の目的は,視点要約手法の信頼性評価と開発に寄与することである。

関連論文リスト

• Verify with Caution: The Pitfalls of Relying on Imperfect Factuality Metrics [22.84997018004618]
  我々は、要約、検索強化生成、質問応答のための11データセットのコレクション上で、5つの最先端の事実性指標を再評価する。 これらの評価器は互いに矛盾しており、しばしばシステムレベルの性能を誤って評価する。
  論文  参考訳（メタデータ） (2025-01-24T19:17:06Z)
• A Critical Look at Meta-evaluating Summarisation Evaluation Metrics [11.541368732416506]
  私たちは、より堅牢な評価指標の開発を可能にする、より多様なベンチマークを構築するのに時間がかかっていると論じています。 我々は、生成された要約のコミュニケーション目標を考慮に入れた、ユーザ中心の品質次元に焦点を当てた研究を求めている。
  論文  参考訳（メタデータ） (2024-09-29T01:30:13Z)
• Learning Evaluation Models from Large Language Models for Sequence Generation [61.8421748792555]
  本稿では,大規模言語モデルを用いた3段階評価モデルトレーニング手法を提案する。 SummEval ベンチマークによる実験結果から,CSEM は人間ラベルデータなしで評価モデルを効果的に訓練できることが示された。
  論文  参考訳（メタデータ） (2023-08-08T16:41:16Z)
• KPEval: Towards Fine-Grained Semantic-Based Keyphrase Evaluation [69.57018875757622]
  KPEvalは、参照合意、忠実性、多様性、有用性という4つの重要な側面からなる総合的な評価フレームワークである。 KPEvalを用いて、23のキーフレーズシステムを再評価し、確立されたモデル比較結果に盲点があることを発見した。
  論文  参考訳（メタデータ） (2023-03-27T17:45:38Z)
• ED-FAITH: Evaluating Dialogue Summarization on Faithfulness [35.73012379398233]
  まず,対話要約のための忠実度尺度の体系的研究を行った。 我々は,ほとんどの指標が,ニュースデータセットでよく機能しているにもかかわらず,人間の判断と相関が低いことを観察した。 忠実度評価のための新しい尺度T0-Scoreを提案する。
  論文  参考訳（メタデータ） (2022-11-15T19:33:50Z)
• On the Limitations of Reference-Free Evaluations of Generated Text [64.81682222169113]
  基準のないメトリクスは本質的にバイアスがあり、生成したテキストを評価する能力に制限があることを示す。 機械翻訳や要約といったタスクの進捗を計測するために使用するべきではない、と我々は主張する。
  論文  参考訳（メタデータ） (2022-10-22T22:12:06Z)
• TRUE: Re-evaluating Factual Consistency Evaluation [29.888885917330327]
  TRUE: 多様なタスクから既存のテキストの標準化されたコレクション上での、事実整合性メトリクスの総合的な研究である。 我々の標準化により、前述した相関よりも動作可能で解釈可能なサンプルレベルのメタ評価プロトコルが実現される。 さまざまな最先端のメトリクスと11のデータセットから、大規模NLIと質問生成と回答に基づくアプローチが、強力で相補的な結果をもたらすことが分かりました。
  論文  参考訳（メタデータ） (2022-04-11T10:14:35Z)
• REAM$\sharp$: An Enhancement Approach to Reference-based Evaluation Metrics for Open-domain Dialog Generation [63.46331073232526]
  オープンドメイン対話システムにおける参照ベースのEvAluation Metricsの拡張手法を提案する。 予測モデルは、与えられた基準セットの信頼性を推定するように設計されている。 本稿では,その予測結果が参照集合の増大にどのように役立つかを示し,測定値の信頼性を向上させる。
  論文  参考訳（メタデータ） (2021-05-30T10:04:13Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。