論文の概要: What Constitutes a Faithful Summary? Preserving Author Perspectives in News Summarization

• arxiv url: http://arxiv.org/abs/2311.09741v1
• Date: Thu, 16 Nov 2023 10:14:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 15:08:49.309230
• Title: What Constitutes a Faithful Summary? Preserving Author Perspectives in News Summarization
• Title（参考訳）: 誠実な要約とは何か? ニュース要約における著者視点の保存
• Authors: Yuhan Liu, Shangbin Feng, Xiaochuang Han, Vidhisha Balachandran, Chan Young Park, Sachin Kumar, Yulia Tsvetkov
• Abstract要約: 既存のアプローチは、要約の50%以上でニュース記事の政治的意見やスタンスを変えている。 政治視点分類器によって制御される拡散モデルに基づく要約手法であるP3Sumを提案する。 3つのニュース要約データセットの実験により、P3Sumは最先端の要約システムより優れていることが示された。
• 参考スコア（独自算出の注目度）: 60.051007575540595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we take a first step towards designing summarization systems that are faithful to the author's opinions and perspectives. Focusing on a case study of preserving political perspectives in news summarization, we find that existing approaches alter the political opinions and stances of news articles in more than 50% of summaries, misrepresenting the intent and perspectives of the news authors. We thus propose P^3Sum, a diffusion model-based summarization approach controlled by political perspective classifiers. In P^3Sum, the political leaning of a generated summary is iteratively evaluated at each decoding step, and any drift from the article's original stance incurs a loss back-propagated to the embedding layers, steering the political stance of the summary at inference time. Extensive experiments on three news summarization datasets demonstrate that P^3Sum outperforms state-of-the-art summarization systems and large language models by up to 11.4% in terms of the success rate of stance preservation, with on-par performance on standard summarization utility metrics. These findings highlight the lacunae that even for state-of-the-art models it is still challenging to preserve author perspectives in news summarization, while P^3Sum presents an important first step towards evaluating and developing summarization systems that are faithful to author intent and perspectives.
• Abstract（参考訳）: 本研究では,著者の意見や視点に忠実な要約システムを設計するための第一歩を踏み出す。 ニュース要約における政治的視点の保存に関する事例研究から,既存のアプローチは,要約の50%以上において,新聞記事の政治的意見やスタンスを変化させるものであり,ニュース作家の意図や視点を誤解していることがわかった。 そこで我々は,p^3sumという拡散モデルに基づく要約手法を提案する。 p^3sumでは、生成された要約の政治的傾倒を復号ステップ毎に反復的に評価し、記事の本来のスタンスからのドリフトは、埋め込み層にバックプロパゲーションされた損失を伴い、推測時に要約の政治的スタンスを操る。 3つのニュース要約データセットの大規模な実験により、P^3Sumはスタンス保存の成功率において最先端の要約システムと大規模言語モデルを最大11.4%上回り、標準要約ユーティリティメトリクスのオンパーパフォーマンスを示す。 これらの知見は、最先端モデルであっても、ニュース要約において著者の視点を維持することは依然として困難であり、一方p^3sumは著者の意図や視点に忠実な要約システムの評価と開発のための重要な第一歩であることを示している。

関連論文リスト

• Summarization of Opinionated Political Documents with Varied Perspectives [11.399915001583059]
  多様な視点の正確な要約を生成することができるモデルは、ユーザーを別の視点に露出させることで、そのような偏極を減らすのに役立つ。 本稿では、各政治的視点を独立に要約する新しいデータセットと課題を、意見のあるニュース記事から一括して紹介する。 自動評価と人的評価の両方を通じて、さまざまなサイズとアーキテクチャの10のモデルをベンチマークする。
  論文  参考訳（メタデータ） (2024-11-06T18:14:48Z)
• Fair Abstractive Summarization of Diverse Perspectives [103.08300574459783]
  公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。 はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。 本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T03:38:55Z)
• Analyzing and Evaluating Faithfulness in Dialogue Summarization [67.07947198421421]
  まず,対話要約の忠実度に関するきめ細かな人間の分析を行い,生成した要約の35%以上がソース対話に忠実に一致していないことを観察する。 そこで本研究では,ルールベース変換により生成した複数選択質問を用いたモデルレベルの忠実度評価手法を提案する。
  論文  参考訳（メタデータ） (2022-10-21T07:22:43Z)
• News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
  GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。 我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
  論文  参考訳（メタデータ） (2022-09-26T01:04:52Z)
• NEWTS: A Corpus for News Topic-Focused Summarization [9.872518517174498]
  本稿では,CNN/Dailymailデータセットに基づく最初の話題要約コーパスを提案する。 提案手法の有効性を検証し,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-05-31T10:01:38Z)
• Enriching and Controlling Global Semantics for Text Summarization [11.037667460077813]
  トランスフォーマーに基づくモデルは、流動的で情報的な要約を作成することで抽象的な要約タスクに有効であることが証明されている。 文書のグローバルな意味を捉えるために,正規化フローを付与したニューラルトピックモデルを導入し,それを要約モデルに統合する。 本手法は,5つの共通テキスト要約データセットにおいて,最先端の要約モデルより優れる。
  論文  参考訳（メタデータ） (2021-09-22T09:31:50Z)
• What's New? Summarizing Contributions in Scientific Literature [85.95906677964815]
  本稿では,論文のコントリビューションと作業状況について,個別の要約を生成するために,論文要約のアンタングル化という新たなタスクを導入する。 本稿では,学術論文のS2ORCコーパスを拡張し,コントリビューション・コントリビューション・コントリビューション・レファレンス・ラベルを付加する。 本稿では, 生成した出力の関連性, 新規性, 絡み合いを報告する総合的自動評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2020-11-06T02:23:01Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• Generating (Factual?) Narrative Summaries of RCTs: Experiments with Neural Multi-Document Summarization [22.611879349101596]
  系統的なレビューから,関連記事の要約を抽象的に要約するために,現代のニューラルモデルを評価する。 現代の要約システムは一貫して流動的で関連するシナプスを生み出すが、必ずしも現実的とは限らない。
  論文  参考訳（メタデータ） (2020-08-25T22:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。