論文の概要: Gender Bias in News Summarization: Measures, Pitfalls and Corpora

• arxiv url: http://arxiv.org/abs/2309.08047v2
• Date: Fri, 16 Feb 2024 12:56:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 20:33:11.403492
• Title: Gender Bias in News Summarization: Measures, Pitfalls and Corpora
• Title（参考訳）: ニュース要約におけるジェンダーバイアス:尺度,落とし穴,コーパス
• Authors: Julius Steen, Katja Markert
• Abstract要約: 本稿では,要約モデルにおけるバイアス付き行動の定義と実用運用について紹介する。 本稿では,階層属性を慎重に制御した入力文書を生成する手法を提案する。 目的合成モデルと汎用チャットモデルの両方で生成された英語要約における性別バイアスを測定する。
• 参考スコア（独自算出の注目度）: 5.8088738147746914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Summarization is an important application of large language models (LLMs). Most previous evaluation of summarization models has focused on their performance in content selection, faithfulness, grammaticality and coherence. However, it is well known that LLMs reproduce and reinforce harmful social biases. This raises the question: Do these biases affect model outputs in a relatively constrained setting like summarization? To help answer this question, we first motivate and introduce a number of definitions for biased behaviours in summarization models, along with practical operationalizations. Since we find that biases inherent to input documents can confound bias analysis in summaries, we propose a method to generate input documents with carefully controlled demographic attributes. This allows us to study summarizer behavior in a controlled setting, while still working with realistic input documents. Finally, we measure gender bias in English summaries generated by both purpose-built summarization models and general purpose chat models as a case study. We find content selection in single document summarization to be largely unaffected by gender bias, while hallucinations exhibit evidence of downstream biases in summarization.
• Abstract（参考訳）: 要約は、大言語モデル(llm)の重要な応用である。 要約モデルのこれまでの評価は、コンテンツの選択、忠実性、文法性、一貫性に重点を置いてきた。 しかし,llmが有害な社会バイアスを再現し,強化することが知られている。 これらのバイアスは、要約のような比較的制約された設定でモデル出力に影響を与えるか? この質問に答えるために、我々はまず、実運用モデルとともに、要約モデルにおけるバイアスされた振る舞いに関する多くの定義を導入し、導入する。 入力文書に固有のバイアスが要約にバイアス分析を組み込むことができることを見出し,注意深く分類された属性を持つ入力文書を生成する手法を提案する。 これにより、リアルな入力文書で作業しながら、制御された環境で要約動作を研究できる。 最後に,目的要約モデルと汎用チャットモデルの両方から生成した英語要約の性別バイアスをケーススタディとして測定する。 単一の文書要約におけるコンテンツ選択は、性別バイアスの影響を受けないが、幻覚は要約における下流バイアスの証拠を示す。

関連論文リスト

• Mitigating Gender Bias in Contextual Word Embeddings [1.208453901299241]
  本稿では,コンテキスト埋め込みにおける性別バイアスを大幅に軽減する,リップスティック(マスケ・ランゲージ・モデリング)の新たな目的関数を提案する。 また, 静的な埋め込みを嫌悪する新しい手法を提案し, 広範囲な解析と実験による実証実験を行った。
  論文  参考訳（メタデータ） (2024-11-18T21:36:44Z)
• On Positional Bias of Faithfulness for Long-form Summarization [83.63283027830657]
  LLM(Large Language Models)は、長いコンテキスト設定において、入力の途中で情報に過小評価される位置バイアスを示すことが多い。 長文要約におけるこのバイアスの存在、その忠実性への影響、およびこのバイアスを軽減するための様々な技術について検討する。
  論文  参考訳（メタデータ） (2024-10-31T03:50:15Z)
• Understanding Position Bias Effects on Fairness in Social Multi-Document Summarization [1.9950682531209158]
  3つの言語コミュニティからのつぶやきを要約する際の入力文書におけるグループ順序付けの効果について検討する。 以上の結果から,社会的多文書要約では位置バイアスが異なることが示唆された。
  論文  参考訳（メタデータ） (2024-05-03T00:19:31Z)
• Bias in Opinion Summarisation from Pre-training to Adaptation: A Case Study in Political Bias [4.964212137957899]
  オピニオン要約は、製品レビュー、ディスカッションフォーラム、ソーシャルメディアのテキストなどの文書で提示される健全な情報と意見を要約することを目的としている。 偏見のある要約を作ることは 世論を揺さぶるリスクがあります
  論文  参考訳（メタデータ） (2024-02-01T04:15:59Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Fair Abstractive Summarization of Diverse Perspectives [103.08300574459783]
  公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。 はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。 本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T03:38:55Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias [33.99768156365231]
  生成言語モデルにおけるバイアス測定のための因果的定式化を導入する。 我々はOccuGenderというベンチマークを提案し、職業性バイアスを調査するためのバイアス測定手法を提案する。 以上の結果から,これらのモデルでは職業性バイアスがかなり大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)
• Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling [56.70682379371534]
  提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。 我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
  論文  参考訳（メタデータ） (2022-10-22T07:16:19Z)
• The Birth of Bias: A case study on the evolution of gender bias in an English language model [1.6344851071810076]
  私たちは、英語のウィキペディアコーパスでトレーニングされたLSTMアーキテクチャを使って、比較的小さな言語モデルを使用します。 性別の表現は動的であり、訓練中に異なる位相を識別する。 モデルの入力埋め込みにおいて,ジェンダー情報が局所的に表現されることが示される。
  論文  参考訳（メタデータ） (2022-07-21T00:59:04Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。