論文の概要: Improving Fairness of Large Language Models in Multi-document Summarization
- arxiv url: http://arxiv.org/abs/2506.07479v1
- Date: Mon, 09 Jun 2025 06:52:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 16:33:10.835699
- Title: Improving Fairness of Large Language Models in Multi-document Summarization
- Title(参考訳): 多文書要約における大規模言語モデルの公平性向上
- Authors: Haoyuan Li Yusen Zhang, Snigdha Chaturvedi,
- Abstract要約: 多文書要約(MDS)の公正性は、多様な社会的属性値を持つ文書を包括的に把握するために重要である。
本手法は,MDSの要約レベルとコーパスレベルの公平性に着目した選好チューニング手法であるFairPOを提案する。
実験の結果,FairPOはサマリーの臨界品質を維持しつつ,強いベースラインを上回ります。
- 参考スコア(独自算出の注目度): 18.768878639071982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fairness in multi-document summarization (MDS) is crucial for providing comprehensive views across documents with diverse social attribute values, which can significantly impact decision-making. For example, a summarization system that tends to overrepresent negative reviews of products can mislead customers into disregarding good products. Previous works measure fairness in MDS at two levels: summary-level and corpus-level. While summary-level fairness focuses on individual summaries, corpus-level fairness focuses on a corpus of summaries. Recent methods primarily focus on summary-level fairness. We propose FairPO, a preference tuning method that focuses on both summary-level and corpus-level fairness in MDS. To improve summary-level fairness, we propose to generate preference pairs by perturbing document sets. To improve corpus-level fairness, we propose fairness-aware preference tuning by dynamically adjusting the weights of preference pairs. Our experiments show that FairPO outperforms strong baselines while maintaining the critical qualities of summaries. The code is available at https://github.com/leehaoyuan/coverage_fairnes.
- Abstract(参考訳): 多文書要約(MDS)の公正性は、様々な社会的属性値を持つ文書を包括的に把握するために重要であり、意思決定に大きな影響を及ぼす可能性がある。
例えば、製品に対する否定的なレビューを過剰に表現する傾向にある要約システムは、顧客が良い製品を無視していることを誤解させる可能性がある。
これまでの研究は、MDSの公正度を2つのレベル(要約レベルとコーパスレベル)で測定していた。
要約レベルフェアネスは個々の要約に焦点を当てるが、コーパスレベルフェアネスは要約のコーパスに焦点を当てる。
最近の手法は主に要約レベルの公平性に焦点を当てている。
本手法は,MDSの要約レベルとコーパスレベルの公平性に着目した選好チューニング手法であるFairPOを提案する。
要約レベルの公平性を改善するために,文書集合を摂動することで好みのペアを生成することを提案する。
コーパスレベルの公平性を改善するため,選好ペアの重みを動的に調整し,公平性を考慮した選好チューニングを提案する。
実験の結果,FairPOはサマリーの臨界品質を維持しつつ,強いベースラインを上回ります。
コードはhttps://github.com/leehaoyuan/coverage_fairnes.comで公開されている。
関連論文リスト
- Fair Summarization: Bridging Quality and Diversity in Extractive Summaries [4.214129657411282]
本稿では,FairExtractとFairGPTの2つの新しい抽出方法を紹介する。
我々は,これらの手法を,ホワイトアライメント,ヒスパニック,アフリカ系アメリカ人の方言ツイートのダイジェム要約データセットを用いて評価した。
論文 参考訳(メタデータ) (2024-11-12T03:37:53Z) - Towards Fair RAG: On the Impact of Fair Ranking in Retrieval-Augmented Generation [53.285436927963865]
フェアネスを意識したランキングを組み込んだRAGシステムに関する最初の総合的研究について述べる。
フェアネスを意識した検索は、しばしばランキングの有効性と生成品質を維持または改善する。
本結果は,検索と生成の両段階において,アイテム側の公平さの重要性を浮き彫りにした。
論文 参考訳(メタデータ) (2024-09-17T23:10:04Z) - Fair Abstractive Summarization of Diverse Perspectives [103.08300574459783]
公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。
はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。
本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
論文 参考訳(メタデータ) (2023-11-14T03:38:55Z) - FFB: A Fair Fairness Benchmark for In-Processing Group Fairness Methods [84.1077756698332]
本稿では,グループフェアネス手法のベンチマークフレームワークであるFair Fairness Benchmark(textsfFFB)を紹介する。
グループフェアネスの異なる概念を確実にするための最先端手法を包括的に分析する。
論文 参考訳(メタデータ) (2023-06-15T19:51:28Z) - Evaluating and Improving Factuality in Multimodal Abstractive
Summarization [91.46015013816083]
そこで我々は,CLIPBERTScoreを提案する。
ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。
本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
論文 参考訳(メタデータ) (2022-11-04T16:50:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。