論文の概要: Understanding Position Bias Effects on Fairness in Social Multi-Document Summarization

• arxiv url: http://arxiv.org/abs/2405.01790v1
• Date: Fri, 3 May 2024 00:19:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 14:05:10.201425
• Title: Understanding Position Bias Effects on Fairness in Social Multi-Document Summarization
• Title（参考訳）: ソーシャルマルチドキュメント要約における位置バイアスが公平性に及ぼす影響の理解
• Authors: Olubusayo Olabisi, Ameeta Agrawal,
• Abstract要約: 3つの言語コミュニティからのつぶやきを要約する際の入力文書におけるグループ順序付けの効果について検討する。 以上の結果から,社会的多文書要約では位置バイアスが異なることが示唆された。
• 参考スコア（独自算出の注目度）: 1.9950682531209158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text summarization models have typically focused on optimizing aspects of quality such as fluency, relevance, and coherence, particularly in the context of news articles. However, summarization models are increasingly being used to summarize diverse sources of text, such as social media data, that encompass a wide demographic user base. It is thus crucial to assess not only the quality of the generated summaries, but also the extent to which they can fairly represent the opinions of diverse social groups. Position bias, a long-known issue in news summarization, has received limited attention in the context of social multi-document summarization. We deeply investigate this phenomenon by analyzing the effect of group ordering in input documents when summarizing tweets from three distinct linguistic communities: African-American English, Hispanic-aligned Language, and White-aligned Language. Our empirical analysis shows that although the textual quality of the summaries remains consistent regardless of the input document order, in terms of fairness, the results vary significantly depending on how the dialect groups are presented in the input data. Our results suggest that position bias manifests differently in social multi-document summarization, severely impacting the fairness of summarization models.
• Abstract（参考訳）: テキスト要約モデルは一般的に、特にニュース記事の文脈において、流布、関連性、一貫性といった品質の側面を最適化することに焦点を当てている。 しかし, 要約モデルは, 幅広い人口層を包含するソーシャルメディアデータなど, 多様なテキストソースの要約にますます利用されている。 したがって、生成した要約の質だけでなく、様々な社会集団の意見を適切に表現できる範囲を評価することが重要である。 ニュース要約における長年の課題である位置バイアスは、社会的多文書要約の文脈において限定的に注目されている。 本研究は,3つの異なる言語コミュニティ(アフリカ系アメリカ人,ヒスパニック系言語,白人系言語)のツイートを要約する際に,入力文書におけるグループ順序付けの効果を分析することによって,この現象を深く研究する。 実験により, 要約のテキスト品質は, 入力文書の順序によらず一定でありながら, 公平性の観点からは, 方言群が入力データでどのように提示されるかによって大きく異なることが明らかとなった。 以上の結果から,社会的多文書要約では位置バイアスが異なることが示唆され,要約モデルの公平性に大きく影響した。

関連論文リスト

• Fair Abstractive Summarization of Diverse Perspectives [103.08300574459783]
  公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。 はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。 本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T03:38:55Z)
• Comprehending Lexical and Affective Ontologies in the Demographically Diverse Spatial Social Media Discourse [0.0]
  本研究の目的は、英語のスタイル、感情の伝達、ソーシャルメディアデータにおける語彙の多様性など、言語的・社会的なデコグラフィーの特徴を理解することである。 分析では,2つのグループから統計的,文法的,感情的特徴を抽出し,検討する。 両群間の言語特性の相違が明らかとなり,マクロF1スコアは約0.85となった。
  論文  参考訳（メタデータ） (2023-11-12T04:23:33Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• Bias in News Summarization: Measures, Pitfalls and Corpora [4.917075909999548]
  本稿では,要約モデルにおけるバイアス付き行動の定義と実用運用について紹介する。 目的合成モデルと汎用チャットモデルの両方で生成された英語要約における性別バイアスを測定する。 単一文書要約におけるコンテンツ選択は、性バイアスの影響をほとんど受けていないが、幻覚は偏見の証拠である。
  論文  参考訳（メタデータ） (2023-09-14T22:20:27Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• On the State of German (Abstractive) Text Summarization [3.1776833268555134]
  ドイツの抽象的テキスト要約の景観を評価する。 業界において,抽象的なテキスト要約のための実用的なソリューションがいまだに欠落している理由を考察する。
  論文  参考訳（メタデータ） (2023-01-17T18:59:20Z)
• Modeling Multi-level Context for Informational Bias Detection by Contrastive Learning and Sentential Graph Network [13.905580921329717]
  情報バイアスはコンテキストとともにのみ検出できる。 本稿では,英語ニュース記事の文レベルの情報バイアスを検出するために,文脈の3つのレベルを統合する。 我々のモデルであるMultiCTXは,これら3つの文脈を符号化するために,グラフ注意ネットワーク(GAT)とともにコントラスト学習と文グラフを使用する。
  論文  参考訳（メタデータ） (2022-01-25T15:07:09Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• Fairness for Whom? Understanding the Reader's Perception of Fairness in Text Summarization [9.136419921943235]
  フェアネスの概念と読者のテキスト要約における認識の相互関係について検討する。 標準的なROUGE評価指標は、要約の認識された(不公平な)性質を定量化できない。
  論文  参考訳（メタデータ） (2021-01-29T05:14:34Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。