論文の概要: Fair Abstractive Summarization of Diverse Perspectives

• arxiv url: http://arxiv.org/abs/2311.07884v2
• Date: Sat, 30 Mar 2024 03:54:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-02 15:15:12.073726
• Title: Fair Abstractive Summarization of Diverse Perspectives
• Title（参考訳）: 多様な視点の公平な抽象的要約
• Authors: Yusen Zhang, Nan Zhang, Yixin Liu, Alexander Fabbri, Junru Liu, Ryo Kamoi, Xiaoxin Lu, Caiming Xiong, Jieyu Zhao, Dragomir Radev, Kathleen McKeown, Rui Zhang,
• Abstract要約: 公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。 はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。 本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
• 参考スコア（独自算出の注目度）: 103.08300574459783
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: People from different social and demographic groups express diverse perspectives and conflicting opinions on a broad set of topics such as product reviews, healthcare, law, and politics. A fair summary should provide a comprehensive coverage of diverse perspectives without underrepresenting certain groups. However, current work in summarization metrics and Large Language Models (LLMs) evaluation has not explored fair abstractive summarization. In this paper, we systematically investigate fair abstractive summarization for user-generated data. We first formally define fairness in abstractive summarization as not underrepresenting perspectives of any groups of people, and we propose four reference-free automatic metrics by measuring the differences between target and source perspectives. We evaluate nine LLMs, including three GPT models, four LLaMA models, PaLM 2, and Claude, on six datasets collected from social media, online reviews, and recorded transcripts. Experiments show that both the model-generated and the human-written reference summaries suffer from low fairness. We conduct a comprehensive analysis of the common factors influencing fairness and propose three simple but effective methods to alleviate unfair summarization. Our dataset and code are available at https://github.com/psunlpgroup/FairSumm.
• Abstract（参考訳）: 異なる社会・人口集団の人々は、製品レビュー、医療、法律、政治といった幅広いトピックについて、様々な視点や意見の相反を表現している。 公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。 しかし, 要約メトリクスとLarge Language Models (LLMs) の評価における現在の研究は, 公平な抽象的な要約を探求していない。 本稿では,ユーザ生成データに対する公平な抽象的要約を体系的に検討する。 まず, 抽象的な要約における公正さを, 対象視点と対象視点の差を測定することで, 基準のない4つの自動測定基準を提案する。 ソーシャルメディア,オンラインレビュー,記録テキストから収集した6つのデータセットに基づいて,3つのGPTモデル,4つのLLaMAモデル,PaLM 2およびClaudeを含む9つのLCMを評価した。 実験により、モデル生成と人間記述の参照サマリーの両方が、フェアネスの低下に悩まされていることが示された。 公平性に影響を与える共通要因を包括的に分析し、不公平な要約を緩和するための3つの単純かつ効果的な方法を提案する。 データセットとコードはhttps://github.com/psunlpgroup/FairSumm.comから入手可能です。

関連論文リスト

• Coverage-based Fairness in Multi-document Summarization [26.215433658613485]
  本稿では,社会的属性の異なる文書のカバレッジに基づいた,新たな要約レベルの公平度尺度である平等カバレッジを提案する。 また,コーパスレベルの不公平性を検出するための新しいコーパスレベル尺度であるCoverage Parityを提案する。 また,Claude3-sonnetは全ての評価LCMの中でもっとも公平であることがわかった。
  論文  参考訳（メタデータ） (2024-12-11T22:01:30Z)
• Fair Summarization: Bridging Quality and Diversity in Extractive Summaries [4.214129657411282]
  本稿では,FairExtractとFairGPTの2つの新しい抽出方法を紹介する。 我々は,これらの手法を,ホワイトアライメント,ヒスパニック,アフリカ系アメリカ人の方言ツイートのダイジェム要約データセットを用いて評価した。
  論文  参考訳（メタデータ） (2024-11-12T03:37:53Z)
• P^3SUM: Preserving Author's Perspective in News Summarization with Diffusion Language Models [57.571395694391654]
  既存のアプローチは、要約の50%以上で、ニュース記事の政治的意見やスタンスを変えている。 政治的視点分類器によって制御される拡散モデルに基づく要約手法であるP3SUMを提案する。 3つのニュース要約データセットの実験により、P3SUMは最先端の要約システムより優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-16T10:14:28Z)
• Bias in News Summarization: Measures, Pitfalls and Corpora [4.917075909999548]
  本稿では,要約モデルにおけるバイアス付き行動の定義と実用運用について紹介する。 目的合成モデルと汎用チャットモデルの両方で生成された英語要約における性別バイアスを測定する。 単一文書要約におけるコンテンツ選択は、性バイアスの影響をほとんど受けていないが、幻覚は偏見の証拠である。
  論文  参考訳（メタデータ） (2023-09-14T22:20:27Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Prompted Opinion Summarization with GPT-3.5 [115.95460650578678]
  GPT-3.5モデルは人体評価において非常に高い性能を示す。 我々は,標準評価指標がこれを反映していないことを論じ,忠実性,事実性,汎用性を重視した3つの新しい指標を導入する。
  論文  参考訳（メタデータ） (2022-11-29T04:06:21Z)
• Template-based Abstractive Microblog Opinion Summarisation [26.777997436856076]
  我々は,マイクロブログ意見要約(MOS)の課題を紹介し,ゴールド標準意見要約3100のデータセットを共有する。 このデータセットには、2年間にわたるつぶやきの要約が含まれており、他のパブリックなTwitter要約データセットよりも多くのトピックをカバーしている。
  論文  参考訳（メタデータ） (2022-08-08T12:16:01Z)
• Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
  本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。 提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T10:49:49Z)
• Fairness for Whom? Understanding the Reader's Perception of Fairness in Text Summarization [9.136419921943235]
  フェアネスの概念と読者のテキスト要約における認識の相互関係について検討する。 標準的なROUGE評価指標は、要約の認識された(不公平な)性質を定量化できない。
  論文  参考訳（メタデータ） (2021-01-29T05:14:34Z)
• Few-Shot Learning for Opinion Summarization [117.70510762845338]
  オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。 本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。 提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
  論文  参考訳（メタデータ） (2020-04-30T15:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。