論文の概要: PerSEval: Assessing Personalization in Text Summarizers

• arxiv url: http://arxiv.org/abs/2407.00453v2
• Date: Fri, 25 Oct 2024 04:36:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:35:13.534468
• Title: PerSEval: Assessing Personalization in Text Summarizers
• Title（参考訳）: PerSEval: テキスト要約器のパーソナライズを評価する
• Authors: Sourish Dasgupta, Ankush Chander, Parth Borad, Isha Motiyani, Tanmoy Chakraborty,
• Abstract要約: パーソナライズされたテキスト要約のパーソナライゼーションの度合いを評価するには,精度の指標が不十分である。 本稿では,必要な充足条件を満たす新しい尺度であるPerSEvalを提案する。
• 参考スコア（独自算出の注目度）: 14.231110627461
• License:
• Abstract: Personalized summarization models cater to individuals' subjective understanding of saliency, as represented by their reading history and current topics of attention. Existing personalized text summarizers are primarily evaluated based on accuracy measures such as BLEU, ROUGE, and METEOR. However, a recent study argued that accuracy measures are inadequate for evaluating the degree of personalization of these models and proposed EGISES, the first metric to evaluate personalized text summaries. It was suggested that accuracy is a separate aspect and should be evaluated standalone. In this paper, we challenge the necessity of an accuracy leaderboard, suggesting that relying on accuracy-based aggregated results might lead to misleading conclusions. To support this, we delve deeper into EGISES, demonstrating both theoretically and empirically that it measures the degree of responsiveness, a necessary but not sufficient condition for degree-of-personalization. We subsequently propose PerSEval, a novel measure that satisfies the required sufficiency condition. Based on the benchmarking of ten SOTA summarization models on the PENS dataset, we empirically establish that -- (i) PerSEval is reliable w.r.t human-judgment correlation (Pearson's r = 0.73; Spearman's $\rho$ = 0.62; Kendall's $\tau$ = 0.42), (ii) PerSEval has high rank-stability, (iii) PerSEval as a rank-measure is not entailed by EGISES-based ranking, and (iv) PerSEval can be a standalone rank-measure without the need of any aggregated ranking.
• Abstract（参考訳）: パーソナライズされた要約モデルは、その読みの歴史と現在の注目のトピックによって表される、個人が主観的に正当性を理解することに焦点をあてる。 既存のパーソナライズされたテキスト要約器は、主にBLEU、ROUGE、METEORなどの精度測定に基づいて評価される。 しかし、最近の研究では、これらのモデルのパーソナライズ度を評価するのに精度の指標が不十分であると主張し、パーソナライズされたテキスト要約を評価する最初の指標であるEGISESを提案した。 正確性は別の側面であり、スタンドアローンで評価されるべきであると示唆された。 本稿では,精度の高いリーダーボードの必要性に挑戦し,精度に基づく集計結果に頼れば誤解を招く可能性があることを示唆する。 これを支援するために,我々はEGISESを深く掘り下げ,人格化の度合いに必要だが不十分である応答性の度合いを理論的にも経験的にも測定できることを実証した。 その後、必要な充足条件を満たす新しい尺度であるPerSEvalを提案する。 PENSデータセット上の10のSOTA要約モデルのベンチマークに基づいて、それを実証的に確立する。 (i)Pearson's r = 0.73、Spearman's $\rho$ = 0.62、Kendall's $\tau$ = 0.42) (ii)Persevalは高いランク安定性を有する。 三 ランク尺度としてのPersevalは、EGISESに基づくランキングに関連付けられず、 (四)PerSEvalは、集計されたランキングを必要とせずに、スタンドアローンのランク尺度となることができる。

関連論文リスト

• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)における最初の形式的確率的評価フレームワークを紹介する。 モデルの出力分布に関する高い確率保証を持つ新しい指標を導出する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• Semi-supervised Learning For Robust Speech Evaluation [30.593420641501968]
  音声評価は、自動モデルを用いて学習者の口頭習熟度を測定する。 本稿では,半教師付き事前学習と客観的正規化を活用することで,このような課題に対処することを提案する。 アンカーモデルは、発音の正しさを予測するために擬似ラベルを用いて訓練される。
  論文  参考訳（メタデータ） (2024-09-23T02:11:24Z)
• TeLeS: Temporal Lexeme Similarity Score to Estimate Confidence in End-to-End ASR [1.8477401359673709]
  クラス確率に基づく信頼スコアは、自信過剰なASR予測の品質を正確に表すものではない。 信頼度推定モデル(CEM)を訓練するためのTeLeS(Temporal-Lexeme similarity)の信頼性スコアを提案する。 我々は、ヒンディー語、タミル語、カナダ語という3つの言語で訓練されたASRモデルを用いて、様々なトレーニングデータサイズで実験を行う。
  論文  参考訳（メタデータ） (2024-01-06T16:29:13Z)
• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)
• TopP&R: Robust Support Estimation Approach for Evaluating Fidelity and Diversity in Generative Models [9.048102020202817]
  Topological Precision and Recall (TopP&R)は、サポートを推定するための体系的なアプローチを提供する。 以上の結果から,TopP&Rは非独立性および非非独立性(Non-IID)摂動に対して頑健であることがわかった。 これは、支持体のロバストな推定に焦点を当てた最初の評価指標であり、雑音下での統計的一貫性を提供する。
  論文  参考訳（メタデータ） (2023-06-13T11:46:00Z)
• An Effective Meaningful Way to Evaluate Survival Models [34.21432603301076]
  実際には、テストセットには検閲された個人が含まれています。 本稿では,現実的な半合成サバイバルデータセットを生成するための,新しい効果的なアプローチを提案する。 提案手法では,モデルの性能に基づいて精度の高いランク付けが可能であり,しばしば真のMAEと密接に一致している。
  論文  参考訳（メタデータ） (2023-06-01T23:22:46Z)
• Ambiguity Meets Uncertainty: Investigating Uncertainty Estimation for Word Sense Disambiguation [5.55197751179213]
  既存の教師付き手法は、WSDを分類タスクとして扱い、優れたパフォーマンスを実現した。 本稿では,WSD 向けに設計されたベンチマークにおける不確実性推定(UE)を広範囲に研究する。 本研究では, モデルが適切に設計されたテストシナリオにおいて, 選択されたUEスコアを用いて, モデルによるデータとモデルの不確実性を捕捉する能力について検討し, モデルの不確実性を十分に反映するが, モデルの不確実性を過小評価する。
  論文  参考訳（メタデータ） (2023-05-22T15:18:15Z)
• Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
  要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。 細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。 ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
  論文  参考訳（メタデータ） (2022-12-15T17:26:05Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• Investigating Crowdsourcing Protocols for Evaluating the Factual Consistency of Summaries [59.27273928454995]
  要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。 評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。 ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
  論文  参考訳（メタデータ） (2021-09-19T19:05:00Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。