論文の概要: What Constitutes a Faithful Summary? Preserving Author Perspectives in
News Summarization
- arxiv url: http://arxiv.org/abs/2311.09741v1
- Date: Thu, 16 Nov 2023 10:14:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 15:08:49.309230
- Title: What Constitutes a Faithful Summary? Preserving Author Perspectives in
News Summarization
- Title(参考訳): 誠実な要約とは何か?
ニュース要約における著者視点の保存
- Authors: Yuhan Liu, Shangbin Feng, Xiaochuang Han, Vidhisha Balachandran, Chan
Young Park, Sachin Kumar, Yulia Tsvetkov
- Abstract要約: 既存のアプローチは、要約の50%以上でニュース記事の政治的意見やスタンスを変えている。
政治視点分類器によって制御される拡散モデルに基づく要約手法であるP3Sumを提案する。
3つのニュース要約データセットの実験により、P3Sumは最先端の要約システムより優れていることが示された。
- 参考スコア(独自算出の注目度): 60.051007575540595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we take a first step towards designing summarization systems
that are faithful to the author's opinions and perspectives. Focusing on a case
study of preserving political perspectives in news summarization, we find that
existing approaches alter the political opinions and stances of news articles
in more than 50% of summaries, misrepresenting the intent and perspectives of
the news authors. We thus propose P^3Sum, a diffusion model-based summarization
approach controlled by political perspective classifiers. In P^3Sum, the
political leaning of a generated summary is iteratively evaluated at each
decoding step, and any drift from the article's original stance incurs a loss
back-propagated to the embedding layers, steering the political stance of the
summary at inference time. Extensive experiments on three news summarization
datasets demonstrate that P^3Sum outperforms state-of-the-art summarization
systems and large language models by up to 11.4% in terms of the success rate
of stance preservation, with on-par performance on standard summarization
utility metrics. These findings highlight the lacunae that even for
state-of-the-art models it is still challenging to preserve author perspectives
in news summarization, while P^3Sum presents an important first step towards
evaluating and developing summarization systems that are faithful to author
intent and perspectives.
- Abstract(参考訳): 本研究では,著者の意見や視点に忠実な要約システムを設計するための第一歩を踏み出す。
ニュース要約における政治的視点の保存に関する事例研究から,既存のアプローチは,要約の50%以上において,新聞記事の政治的意見やスタンスを変化させるものであり,ニュース作家の意図や視点を誤解していることがわかった。
そこで我々は,p^3sumという拡散モデルに基づく要約手法を提案する。
p^3sumでは、生成された要約の政治的傾倒を復号ステップ毎に反復的に評価し、記事の本来のスタンスからのドリフトは、埋め込み層にバックプロパゲーションされた損失を伴い、推測時に要約の政治的スタンスを操る。
3つのニュース要約データセットの大規模な実験により、P^3Sumはスタンス保存の成功率において最先端の要約システムと大規模言語モデルを最大11.4%上回り、標準要約ユーティリティメトリクスのオンパーパフォーマンスを示す。
これらの知見は、最先端モデルであっても、ニュース要約において著者の視点を維持することは依然として困難であり、一方p^3sumは著者の意図や視点に忠実な要約システムの評価と開発のための重要な第一歩であることを示している。
関連論文リスト
- Fair Abstractive Summarization of Diverse Perspectives [105.6028424227222]
公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。
はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。
そこで本研究では,対象視点と対象視点の差を計測する4つの基準フリー自動計測手法を提案する。
論文 参考訳(メタデータ) (2023-11-14T03:38:55Z) - Entity-Based Evaluation of Political Bias in Automatic Summarization [27.68439481274954]
本稿では,ニュース記事の自動要約における政治家の描写を,エンティティ代替手法を用いて調査する。
我々は、ドナルド・トランプやジョー・バイデンといった政治家に対して、抽出的かつ抽象的な要約者の感性を評価するためのエンティティベースの計算フレームワークを開発する。
論文 参考訳(メタデータ) (2023-05-03T17:59:59Z) - Analyzing and Evaluating Faithfulness in Dialogue Summarization [67.07947198421421]
まず,対話要約の忠実度に関するきめ細かな人間の分析を行い,生成した要約の35%以上がソース対話に忠実に一致していないことを観察する。
そこで本研究では,ルールベース変換により生成した複数選択質問を用いたモデルレベルの忠実度評価手法を提案する。
論文 参考訳(メタデータ) (2022-10-21T07:22:43Z) - An Item Response Theory Framework for Persuasion [3.0938904602244346]
本稿では,言語における議論の説得性の分析に,教育や政治科学研究で人気のある項目応答理論を適用した。
我々は、政治擁護の領域における新しいデータセットを含む3つのデータセットに対して、モデルの性能を実証的に評価する。
論文 参考訳(メタデータ) (2022-04-24T19:14:11Z) - NeuS: Neutral Multi-News Summarization for Mitigating Framing Bias [54.89737992911079]
様々な政治スペクトルの複数のニュース見出しから中立的な要約を生成する新しい課題を提案する。
最も興味深い観察の1つは、生成モデルは、事実的に不正確なコンテンツや検証不可能なコンテンツだけでなく、政治的に偏ったコンテンツにも幻覚を与えることができることである。
論文 参考訳(メタデータ) (2022-04-11T07:06:01Z) - Inflating Topic Relevance with Ideology: A Case Study of Political
Ideology Bias in Social Topic Detection Models [16.279854003220418]
トレーニングデータにおける政治的イデオロギーバイアスの影響について検討する。
私たちの研究は、人間の選択した入力からバイアスを伝達する、大規模で複雑なモデルの受容性を強調します。
偏見を緩和する手段として,政治的イデオロギーに不変なテキスト表現の学習を提案する。
論文 参考訳(メタデータ) (2020-11-29T05:54:03Z) - What's New? Summarizing Contributions in Scientific Literature [85.95906677964815]
本稿では,論文のコントリビューションと作業状況について,個別の要約を生成するために,論文要約のアンタングル化という新たなタスクを導入する。
本稿では,学術論文のS2ORCコーパスを拡張し,コントリビューション・コントリビューション・コントリビューション・レファレンス・ラベルを付加する。
本稿では, 生成した出力の関連性, 新規性, 絡み合いを報告する総合的自動評価プロトコルを提案する。
論文 参考訳(メタデータ) (2020-11-06T02:23:01Z) - Summarizing Text on Any Aspects: A Knowledge-Informed Weakly-Supervised
Approach [89.56158561087209]
文書に関連する任意の側面を要約する。
監視データがないため、我々は新しい弱い監督構築法とアスペクト・モデリング・スキームを開発した。
実験により,本手法は実文書と合成文書の両方を要約することで,性能の向上を図っている。
論文 参考訳(メタデータ) (2020-10-14T03:20:46Z) - We Can Detect Your Bias: Predicting the Political Ideology of News
Articles [35.761722515882646]
我々は、政治的イデオロギーのために手動で注釈付けされた34,737項目のデータセットを公表した。
私たちは、テスト例がトレーニング中に見られなかったメディアから得られる、挑戦的な実験的なセットアップを使用しています。
実験結果から,最先端の事前学習型トランスに比べて非常に大きな改善が得られた。
論文 参考訳(メタデータ) (2020-10-11T20:27:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。