論文の概要: Information Satisfaction: A Reader-Centered Axis for Summarization Evaluation
- arxiv url: http://arxiv.org/abs/2608.14457v1
- Date: Fri, 14 Aug 2026 16:41:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.443919
- Title: Information Satisfaction: A Reader-Centered Axis for Summarization Evaluation
- Title（参考訳）: 情報満足度:要約評価のための読者中心軸
- Abstract要約: 情報とペルソナの違いの両方に対して,一般的な要約指標がどれほど敏感かを評価する。
また、情報満足度に基づいて、要約嗜好を計測し、専門家による評価を行う。
- 参考スコア（独自算出の注目度）: 12.756079464205982
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The majority of work on summarization evaluation focuses on general summary quality (e.g., ROUGE, BERTScore) or specific desired properties (e.g., readability, factuality). However, these metrics fail to measure the utility of a summary to an individual user. For example, a biomedical researcher learning about the latest vaccine research will have different informational needs from a family doctor. Query-focused summarization captures part of this need, but in practice, users rarely state everything relevant in a query: a single short query is likely inadequate to distinguish the needs of a researcher from those of a physician. By contrast, a reader's background or persona (their role and expertise) is comparatively stable across queries and recovers much of this missing context, which makes it a practical signal for assessing whether a summary satisfies that reader's needs. In this work, we assess how sensitive popular summarization metrics are to both informational and persona differences, and find that many popular metrics, including strong LLM-as-judge metrics, fail basic perturbation tests of informational content. We additionally conduct an expert human evaluation, measuring summary preferences based on information satisfaction given a specific person's background and use case. We find that both traditional and LLM-based metrics are insufficient measures of information satisfaction and agree poorly with human judgment.
- Abstract（参考訳）: 要約評価に関する研究の大部分は、一般的な要約品質(例えば、ROUGE、BERTScore)や特定の望ましい特性(例えば、可読性、事実性)に焦点を当てている。
しかし、これらのメトリクスは、個々のユーザに対する要約の有用性を測ることができない。
例えば、最新のワクチン研究について学ぶ生体医学研究者は、家族の医師とは異なる情報を必要とする。
クエリにフォーカスした要約は、このニーズの一部を捉えているが、実際には、ユーザーはクエリに関連するすべてのことをほとんど記述しない:単一の短いクエリは、研究者のニーズと医師のニーズとを区別するのに不十分である。
対照的に、読者のバックグラウンドやペルソナ(役割や専門知識)はクエリ間で比較的安定しており、この欠落したコンテキストの多くを回復しているため、要約が読者のニーズを満たすかどうかを評価するための実用的な信号となる。
本研究では,情報コンテンツとペルソナの違いに対して,一般的な要約指標がどの程度敏感であるかを評価するとともに,強力なLCM-as-judge指標を含む多くの人気指標が,情報コンテンツの基本的な摂動テストに失敗していることを示す。
また、特定の人物の背景やユースケースに与えられた情報満足度に基づいて、要約嗜好を計測し、専門家による評価を行う。
従来の指標とLLM基準の両方が情報満足度を測るには不十分であり,人的判断に不一致であることがわかった。
関連論文リスト
- When Does Persona Prompting Actually Help? A Retrieval and Metric Analysis of Expert Role Injection in LLMs [6.180594609315986]
ペルソナプロンプトは大きな言語モデルを操るために広く用いられているが、その実用的価値は未だ不明である。
我々は、38の専門職と6つのドメインにまたがる1,140のオープンエンド質問の4つのプロンプト条件を比較した。
役割促進は助言的質問や医学や心理学などの分野において最善を尽くす。
論文 参考訳（メタデータ） (2026-05-28T06:14:07Z) - PERCS: Persona-Guided Controllable Biomedical Summarization Dataset [14.620290128367012]
PERCSは、4人のペルソナに合わせた要約と組み合わせたバイオメディカル抽象のデータセットである。
これらのペルソナは、医療リテラシーと情報ニーズのレベルが異なる。
技術的検証は、人格間での読みやすさ、語彙、内容の深さの明確な違いを示している。
論文 参考訳（メタデータ） (2025-12-03T01:13:56Z) - Profiling News Media for Factuality and Bias Using LLMs and the Fact-Checking Methodology of Human Experts [29.95198868148809]
本稿では,プロのファクトチェッカーがアウトレット全体の事実と政治的偏見を評価するために使用する基準をエミュレートする新しい手法を提案する。
メディアの人気と地域がモデル性能に与える影響を詳細に分析する。
論文 参考訳（メタデータ） (2025-06-14T15:49:20Z) - The Quest for the Right Mediator: Surveying Mechanistic Interpretability Through the Lens of Causal Mediation Analysis [51.046457649151336]
本稿では,因果媒介分析に基づく解釈可能性研究の視点を提案する。
本稿では, 原因単位(メディエーター)の種類に応じて分類された解釈可能性の歴史と現状について述べる。
我々は,各メディエータの長所と短所について論じ,特定の種類のメディエータや検索手法が最適であるかどうかについての洞察を提供する。
論文 参考訳（メタデータ） (2024-08-02T17:51:42Z) - FABLES: Evaluating faithfulness and content selection in book-length summarization [55.50680057160788]
本稿では,本書の忠実度と内容選択の大規模評価を行う。
LLMが生成した26冊のサマリーで作成した3,158冊の注釈のデータセットであるFABLESを5.2KUSDで収集する。
注釈の分析によると、ほとんどの不誠実な主張は出来事や登場人物の状態に関係しており、物語を無効にするために間接的推論を必要とする。
論文 参考訳（メタデータ） (2024-04-01T17:33:38Z) - Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。
本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
論文 参考訳（メタデータ） (2024-03-21T10:31:11Z) - Attribute Structuring Improves LLM-Based Evaluation of Clinical Text Summaries [56.31117605097345]
大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。
本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。
ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
論文 参考訳（メタデータ） (2024-03-01T21:59:03Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - A Meta-Evaluation of Faithfulness Metrics for Long-Form Hospital-Course
Summarization [2.8575516056239576]
病院入院の長期的臨床要約は、臨床医と患者の両方に役立つ可能性から、現実的な重要性を持っている。
本研究は,患者の短期病院講座のモデル作成要約に対して,人体アノテーションの微粒化に対する忠実度指標をベンチマークした。
論文 参考訳（メタデータ） (2023-03-07T14:57:06Z) - Understanding the Extent to which Summarization Evaluation Metrics
Measure the Information Quality of Summaries [74.28810048824519]
ROUGEとBERTScoreのトークンアライメントを分析し、要約を比較する。
それらのスコアは、情報の重複を測定するものとしては解釈できない、と我々は主張する。
論文 参考訳（メタデータ） (2020-10-23T15:55:15Z) - Unsupervised Reference-Free Summary Quality Evaluation via Contrastive
Learning [66.30909748400023]
教師なしコントラスト学習により,参照要約を使わずに要約品質を評価することを提案する。
具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。
ニューズルームとCNN/デイリーメールの実験では,新たな評価手法が参照サマリーを使わずに他の指標よりも優れていることが示された。
論文 参考訳（メタデータ） (2020-10-05T05:04:14Z) - Extending Text Informativeness Measures to Passage Interestingness
Evaluation (Language Model vs. Word Embedding) [1.2998637003026272]
本稿では、インフォマティヴネスの概念をインフォマティヴネスの一般化として定義する。
次に、この一般化に対応するために、アートインフォーマティヴネス対策の状態を調査する。
CLEF-INEX Tweet Contextualization 2012 Logarithm similarity measure が最適であることを示す。
論文 参考訳（メタデータ） (2020-04-14T18:22:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。