論文の概要: Improving Fairness of Large Language Models in Multi-document Summarization
- arxiv url: http://arxiv.org/abs/2506.07479v1
- Date: Mon, 09 Jun 2025 06:52:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 16:33:10.835699
- Title: Improving Fairness of Large Language Models in Multi-document Summarization
- Title（参考訳）: 多文書要約における大規模言語モデルの公平性向上
- Authors: Haoyuan Li Yusen Zhang, Snigdha Chaturvedi,
- Abstract要約: 多文書要約(MDS)の公正性は、多様な社会的属性値を持つ文書を包括的に把握するために重要である。
本手法は,MDSの要約レベルとコーパスレベルの公平性に着目した選好チューニング手法であるFairPOを提案する。
実験の結果,FairPOはサマリーの臨界品質を維持しつつ,強いベースラインを上回ります。
- 参考スコア（独自算出の注目度）: 18.768878639071982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fairness in multi-document summarization (MDS) is crucial for providing comprehensive views across documents with diverse social attribute values, which can significantly impact decision-making. For example, a summarization system that tends to overrepresent negative reviews of products can mislead customers into disregarding good products. Previous works measure fairness in MDS at two levels: summary-level and corpus-level. While summary-level fairness focuses on individual summaries, corpus-level fairness focuses on a corpus of summaries. Recent methods primarily focus on summary-level fairness. We propose FairPO, a preference tuning method that focuses on both summary-level and corpus-level fairness in MDS. To improve summary-level fairness, we propose to generate preference pairs by perturbing document sets. To improve corpus-level fairness, we propose fairness-aware preference tuning by dynamically adjusting the weights of preference pairs. Our experiments show that FairPO outperforms strong baselines while maintaining the critical qualities of summaries. The code is available at https://github.com/leehaoyuan/coverage_fairnes.
- Abstract（参考訳）: 多文書要約(MDS)の公正性は、様々な社会的属性値を持つ文書を包括的に把握するために重要であり、意思決定に大きな影響を及ぼす可能性がある。
例えば、製品に対する否定的なレビューを過剰に表現する傾向にある要約システムは、顧客が良い製品を無視していることを誤解させる可能性がある。
これまでの研究は、MDSの公正度を2つのレベル(要約レベルとコーパスレベル)で測定していた。
要約レベルフェアネスは個々の要約に焦点を当てるが、コーパスレベルフェアネスは要約のコーパスに焦点を当てる。
最近の手法は主に要約レベルの公平性に焦点を当てている。
本手法は,MDSの要約レベルとコーパスレベルの公平性に着目した選好チューニング手法であるFairPOを提案する。
要約レベルの公平性を改善するために,文書集合を摂動することで好みのペアを生成することを提案する。
コーパスレベルの公平性を改善するため,選好ペアの重みを動的に調整し,公平性を考慮した選好チューニングを提案する。
実験の結果,FairPOはサマリーの臨界品質を維持しつつ,強いベースラインを上回ります。
コードはhttps://github.com/leehaoyuan/coverage_fairnes.comで公開されている。
関連論文リスト
- FedFACT: A Provable Framework for Controllable Group-Fairness Calibration in Federated Learning [13.575259448363557]
我々はFedFACTという制御可能なグループフェアネス校正フレームワークを提案する。
FedFACTは、大域的および局所的公正性の制約の下でベイズ最適分類器を識別する。
複数のデータセットの実験では、FedFACTは精度とグローバルローカルフェアネスのバランスをとる上で、ベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2025-06-04T09:39:57Z) - Estimating Commonsense Plausibility through Semantic Shifts [66.06254418551737]
セマンティックシフトを測定することでコモンセンスの妥当性を定量化する新しい識別フレームワークであるComPaSSを提案する。
2種類の細粒度コモンセンス可視性評価タスクの評価は,ComPaSSが一貫してベースラインを上回っていることを示している。
論文 参考訳（メタデータ） (2025-02-19T06:31:06Z) - Fair-MoE: Fairness-Oriented Mixture of Experts in Vision-Language Models [7.808926474503611]
フェアネスと有効性の両方を保証するために特別に設計されたモデルであるFair-MoEを提案する。
Fair-MoEは2つの重要なコンポーネントで構成されている: textitthe Fairness-Oriented Mixture of Experts (FO-MoE)と textitthe Fairness-Oriented Loss (FOL)である。
論文 参考訳（メタデータ） (2025-02-10T01:45:26Z) - Coverage-based Fairness in Multi-document Summarization [26.215433658613485]
本稿では,社会的属性の異なる文書のカバレッジに基づいた,新たな要約レベルの公平度尺度である平等カバレッジを提案する。
また,コーパスレベルの不公平性を検出するための新しいコーパスレベル尺度であるCoverage Parityを提案する。
また,Claude3-sonnetは全ての評価LCMの中でもっとも公平であることがわかった。
論文 参考訳（メタデータ） (2024-12-11T22:01:30Z) - Fair Summarization: Bridging Quality and Diversity in Extractive Summaries [4.214129657411282]
本稿では,FairExtractとFairGPTの2つの新しい抽出方法を紹介する。
我々は,これらの手法を,ホワイトアライメント,ヒスパニック,アフリカ系アメリカ人の方言ツイートのダイジェム要約データセットを用いて評価した。
論文 参考訳（メタデータ） (2024-11-12T03:37:53Z) - Towards Fair RAG: On the Impact of Fair Ranking in Retrieval-Augmented Generation [53.285436927963865]
フェアネスを意識したランキングを組み込んだRAGシステムに関する最初の総合的研究について述べる。
フェアネスを意識した検索は、しばしばランキングの有効性と生成品質を維持または改善する。
本結果は,検索と生成の両段階において,アイテム側の公平さの重要性を浮き彫りにした。
論文 参考訳（メタデータ） (2024-09-17T23:10:04Z) - Fair Abstractive Summarization of Diverse Perspectives [103.08300574459783]
公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。
はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。
本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
論文 参考訳（メタデータ） (2023-11-14T03:38:55Z) - FFB: A Fair Fairness Benchmark for In-Processing Group Fairness Methods [84.1077756698332]
本稿では,グループフェアネス手法のベンチマークフレームワークであるFair Fairness Benchmark(textsfFFB)を紹介する。
グループフェアネスの異なる概念を確実にするための最先端手法を包括的に分析する。
論文 参考訳（メタデータ） (2023-06-15T19:51:28Z) - Evaluating and Improving Factuality in Multimodal Abstractive
Summarization [91.46015013816083]
そこで我々は,CLIPBERTScoreを提案する。
ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。
本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
論文 参考訳（メタデータ） (2022-11-04T16:50:40Z) - fairlib: A Unified Framework for Assessing and Improving Classification
Fairness [66.27822109651757]
Fairlibは、分類の公平さを評価し改善するためのオープンソースのフレームワークである。
我々は、前処理、訓練時間、後処理を含む14のデバイアス化手法を実装した。
組み込まれたメトリクスは、最も一般的に使用されるフェアネス基準をカバーし、フェアネス評価のためにさらに一般化およびカスタマイズすることができる。
論文 参考訳（メタデータ） (2022-05-04T03:50:23Z) - Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。
我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。
本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文 参考訳（メタデータ） (2022-03-15T01:24:51Z) - Societal Biases in Retrieved Contents: Measurement Framework and
Adversarial Mitigation for BERT Rankers [9.811131801693856]
ランキングモデルの検索したテキスト内容の公平性を測定するための新しいフレームワークを提供する。
本稿では,最先端のbertrankersに適用した逆バイアス緩和手法を提案する。
MARCOベンチマークの結果,全てのランキングモデルの公正度は,ランク付け非依存のベースラインの公平度よりも低いが,検索内容の公平度は,提案した対角トレーニングの適用時に著しく向上することが示された。
論文 参考訳（メタデータ） (2021-04-28T08:53:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。