論文の概要: Coverage-based Fairness in Multi-document Summarization

• arxiv url: http://arxiv.org/abs/2412.08795v1
• Date: Wed, 11 Dec 2024 22:01:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:34:24.294037
• Title: Coverage-based Fairness in Multi-document Summarization
• Title（参考訳）: 複数文書要約におけるカバーベースフェアネス
• Authors: Haoyuan Li, Yusen Zhang, Rui Zhang, Snigdha Chaturvedi,
• Abstract要約: 本稿では,社会的属性の異なる文書のカバレッジに基づいた,新たな要約レベルの公平度尺度である平等カバレッジを提案する。 また,コーパスレベルの不公平性を検出するための新しいコーパスレベル尺度であるCoverage Parityを提案する。 また,Claude3-sonnetは全ての評価LCMの中でもっとも公平であることがわかった。
• 参考スコア（独自算出の注目度）: 26.215433658613485
• License:
• Abstract: Fairness in multi-document summarization (MDS) measures whether a system can generate a summary fairly representing information from documents with different social attribute values. Fairness in MDS is crucial since a fair summary can offer readers a comprehensive view. Previous works focus on quantifying summary-level fairness using Proportional Representation, a fairness measure based on Statistical Parity. However, Proportional Representation does not consider redundancy in input documents and overlooks corpus-level unfairness. In this work, we propose a new summary-level fairness measure, Equal Coverage, which is based on coverage of documents with different social attribute values and considers the redundancy within documents. To detect the corpus-level unfairness, we propose a new corpus-level measure, Coverage Parity. Our human evaluations show that our measures align more with our definition of fairness. Using our measures, we evaluate the fairness of thirteen different LLMs. We find that Claude3-sonnet is the fairest among all evaluated LLMs. We also find that almost all LLMs overrepresent different social attribute values.
• Abstract（参考訳）: マルチドキュメント要約(MDS)の公正性は、システムが異なる社会的属性値を持つ文書から、適切な情報を表す要約を生成することができるかどうかを測定する。 MDSの公正性は、読者に包括的なビューを提供するため、非常に重要です。 従来の研究は,統計的パリティに基づく公平度尺度であるProportional Representationを用いて,要約レベルの公正度を定量化することに集中していた。 しかし、Reportional Representationは入力文書の冗長性を考慮せず、コーパスレベルの不公平さを見落としている。 本研究では,社会的属性の異なる文書を対象とし,文書内の冗長性を考慮した要約レベルの公平度尺度Equal Coverageを提案する。 コーパスレベルの不公平さを検出するために,新しいコーパスレベル尺度Coverage Parityを提案する。 人間の評価は、我々の測定値が我々の公正性の定義とより一致していることを示している。 提案手法を用いて,13種類のLDMの公平性を評価した。 また,Claude3-sonnetは全ての評価LCMの中でもっとも公平であることがわかった。 また、ほとんど全てのLDMが異なる社会的属性値を上書きしていることもわかりました。

関連論文リスト

• Fair Summarization: Bridging Quality and Diversity in Extractive Summaries [4.214129657411282]
  本稿では,FairExtractとFairGPTの2つの新しい抽出方法を紹介する。 我々は,これらの手法を,ホワイトアライメント,ヒスパニック,アフリカ系アメリカ人の方言ツイートのダイジェム要約データセットを用いて評価した。
  論文  参考訳（メタデータ） (2024-11-12T03:37:53Z)
• Fair Abstractive Summarization of Diverse Perspectives [103.08300574459783]
  公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。 はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。 本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T03:38:55Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Evaluating and Improving Factuality in Multimodal Abstractive Summarization [91.46015013816083]
  そこで我々は,CLIPBERTScoreを提案する。 ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。 本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
  論文  参考訳（メタデータ） (2022-11-04T16:50:40Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• Fairness for Whom? Understanding the Reader's Perception of Fairness in Text Summarization [9.136419921943235]
  フェアネスの概念と読者のテキスト要約における認識の相互関係について検討する。 標準的なROUGE評価指標は、要約の認識された(不公平な)性質を定量化できない。
  論文  参考訳（メタデータ） (2021-01-29T05:14:34Z)
• Unsupervised Reference-Free Summary Quality Evaluation via Contrastive Learning [66.30909748400023]
  教師なしコントラスト学習により,参照要約を使わずに要約品質を評価することを提案する。 具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。 ニューズルームとCNN/デイリーメールの実験では,新たな評価手法が参照サマリーを使わずに他の指標よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-05T05:04:14Z)
• Machine learning fairness notions: Bridging the gap with real-world applications [4.157415305926584]
  フェアネスは、機械学習予測システムが特定の個人やサブ人口全体に対して差別しないことを保証する重要な要件として現れた。 本稿では,多くの事例とシナリオを通じて,公平性の概念間の微妙な関係について述べる。
  論文  参考訳（メタデータ） (2020-06-30T13:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。