論文の概要: When Bigger Isn't Better: A Comprehensive Fairness Evaluation of Political Bias in Multi-News Summarisation
- arxiv url: http://arxiv.org/abs/2604.21309v1
- Date: Thu, 23 Apr 2026 06:03:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.324992
- Title: When Bigger Isn't Better: A Comprehensive Fairness Evaluation of Political Bias in Multi-News Summarisation
- Title(参考訳): Biggerが良くないとき: マルチニューズ・サマリゼーションにおける政治バイアスの総合的公正評価
- Authors: Nannan Huang, Iffat Maab, Junichi Yamagishi,
- Abstract要約: 複数文書のニュース要約システムは、視点の不平等な表現、特定の視点への不均等な強調、少数派の声の体系的な過小評価を通じて、政治的偏見を示すことができる。
本研究は、FairNewsを用いて、多文書ニュース要約におけるそのようなバイアスの包括的評価を行う。
- 参考スコア(独自算出の注目度): 29.441760068089508
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-document news summarisation systems are increasingly adopted for their convenience in processing vast daily news content, making fairness across diverse political perspectives critical. However, these systems can exhibit political bias through unequal representation of viewpoints, disproportionate emphasis on certain perspectives, and systematic underrepresentation of minority voices. This study presents a comprehensive evaluation of such bias in multi-document news summarisation using FairNews, a dataset of complete news articles with political orientation labels, examining how large language models (LLMs) handle sources with varying political leanings across 13 models and five fairness metrics. We investigate both baseline model performance and effectiveness of various debiasing interventions, including prompt-based and judge-based approaches. Our findings challenge the assumption that larger models yield fairer outputs, as mid-sized variants consistently outperform their larger counterparts, offering the best balance of fairness and efficiency. Prompt-based debiasing proves highly model dependent, while entity sentiment emerges as the most stubborn fairness dimension, resisting all intervention strategies tested. These results demonstrate that fairness in multi-document news summarisation requires multi-dimensional evaluation frameworks and targeted, architecture-aware debiasing rather than simply scaling up.
- Abstract(参考訳): 多文書ニュース要約システムは、膨大な日刊ニュースコンテンツを処理し、様々な政治的観点で公平さを重要視する上で、便宜のためにますます採用されている。
しかしながら、これらのシステムは、視点の不平等な表現、特定の視点への不均等な強調、少数派の声の体系的な過小評価を通じて、政治的偏見を示すことができる。
本研究は、FairNewsを用いて、多文書ニュース要約におけるそのようなバイアスの包括的評価を行い、大規模な言語モデル(LLM)が、13のモデルと5のフェアネス指標で異なる政治的傾きを持つソースをどのように扱うかを検討する。
本研究は,プロンプトベースおよびジャッジベースアプローチを含む,様々なデバイアス介入のベースラインモデル性能と有効性について検討する。
我々の研究結果は、より大きなモデルがより公平な出力をもたらすという仮定に挑戦する。
プロンプトに基づくデバイアスは、非常にモデルに依存していることを証明し、エンティティの感情は最も頑丈な公平性次元として現れ、テストされたすべての介入戦略に抵抗する。
これらの結果から,マルチドキュメントニュース要約における公平性には,単にスケールアップするのではなく,多次元評価フレームワークとアーキテクチャを意識したデバイアス処理が必要であることが示唆された。
関連論文リスト
- The Unfairness of Multifactorial Bias in Recommendation [68.35079031029616]
人気バイアスと肯定バイアスは推薦システムにおいて顕著なバイアス源である。
本研究では,多因子バイアスが項目側の公平性にどのように影響するかを検討する。
我々は、多因子バイアスを軽減するために、パーセンタイルに基づく評価変換を前処理戦略として適用する。
論文 参考訳(メタデータ) (2026-01-19T08:37:43Z) - A Systematic Analysis of Biases in Large Language Models [40.23320093091831]
大規模言語モデル(LLM)は、情報を取得し、人間の意思決定を支援するために、急速に必要不可欠なツールになりつつある。
本研究では、政治、イデオロギー、同盟、言語、ジェンダーの次元にまたがるバイアスと傾向について検討する。
その結果, LLMは中性であり, 公平である一方で, 異なるタイプの偏見や親和性を示すことが示唆された。
論文 参考訳(メタデータ) (2025-12-16T03:38:08Z) - Unraveling Media Perspectives: A Comprehensive Methodology Combining Large Language Models, Topic Modeling, Sentiment Analysis, and Ontology Learning to Analyse Media Bias [0.0]
本研究では、政治ニュースにおけるメディアバイアスのスケーラブルで最小限のバイアス分析のための新しい手法を提案する。
提案手法は,ニュースソース間のイベント選択,ラベル付け,単語選択,コミッショニングと省略バイアスについて検討する。
論文 参考訳(メタデータ) (2025-05-03T09:09:34Z) - Mapping the Media Landscape: Predicting Factual Reporting and Political Bias Through Web Interactions [0.7249731529275342]
本稿では,最近発表されたニュースメディアの信頼性評価手法の拡張を提案する。
大規模ニュースメディアハイパーリンクグラフ上での4つの強化学習戦略の分類性能を評価する。
本実験は,2つの難解なバイアス記述子,事実報告と政治的偏見を対象とし,情報源メディアレベルでの大幅な性能向上を示した。
論文 参考訳(メタデータ) (2024-10-23T08:18:26Z) - Understanding Position Bias Effects on Fairness in Social Multi-Document Summarization [1.9950682531209158]
3つの言語コミュニティからのつぶやきを要約する際の入力文書におけるグループ順序付けの効果について検討する。
以上の結果から,社会的多文書要約では位置バイアスが異なることが示唆された。
論文 参考訳(メタデータ) (2024-05-03T00:19:31Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z) - Fair Abstractive Summarization of Diverse Perspectives [103.08300574459783]
公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。
はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。
本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
論文 参考訳(メタデータ) (2023-11-14T03:38:55Z) - Fair Enough: Standardizing Evaluation and Model Selection for Fairness
Research in NLP [64.45845091719002]
現代のNLPシステムは様々なバイアスを示しており、モデル偏見に関する文献が増えている。
本稿では,その現状を解明し,公正学習における意味ある進歩の道筋を立案することを目的とする。
論文 参考訳(メタデータ) (2023-02-11T14:54:00Z) - Unveiling the Hidden Agenda: Biases in News Reporting and Consumption [59.55900146668931]
イタリアのワクチン論争に関する6年間のデータセットを構築し、物語と選択バイアスを特定するためにベイジアン潜在空間モデルを採用する。
バイアスとエンゲージメントの間に非線形な関係が見られ、極端な位置へのエンゲージメントが高くなった。
Twitter上でのニュース消費の分析は、同様のイデオロギー的な立場のニュースメディアの間で、一般的なオーディエンスを明らかにしている。
論文 参考訳(メタデータ) (2023-01-14T18:58:42Z) - NeuS: Neutral Multi-News Summarization for Mitigating Framing Bias [54.89737992911079]
様々な政治スペクトルの複数のニュース見出しから中立的な要約を生成する新しい課題を提案する。
最も興味深い観察の1つは、生成モデルは、事実的に不正確なコンテンツや検証不可能なコンテンツだけでなく、政治的に偏ったコンテンツにも幻覚を与えることができることである。
論文 参考訳(メタデータ) (2022-04-11T07:06:01Z) - Enabling News Consumers to View and Understand Biased News Coverage: A
Study on the Perception and Visualization of Media Bias [7.092487352312782]
手動で3つのアノテートデータセットを作成し、さまざまな視覚化戦略をテストする。
その結果, 対照群と比較して, 治療群の偏見に気付く効果は認められなかった。
多段階モデルを用いて、ジャーナリストの偏見は、記事の政治的極性や公平性に大きく関係していることがわかった。
論文 参考訳(メタデータ) (2021-05-20T10:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。