論文の概要: Investigating Gender Bias in News Summarization

• arxiv url: http://arxiv.org/abs/2309.08047v1
• Date: Thu, 14 Sep 2023 22:20:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 16:34:41.852310
• Title: Investigating Gender Bias in News Summarization
• Title（参考訳）: ニュース要約におけるジェンダーバイアスの調査
• Authors: Julius Steen, Katja Markert
• Abstract要約: 単一文書要約におけるコンテンツ選択は、主にバイアスの影響を受けていないが、幻覚は生成された要約に伝播するバイアスの証拠を示す。 単一文書要約におけるコンテンツ選択は、主にバイアスの影響を受けていないが、幻覚は生成された要約に伝播するバイアスの証拠を示す。
• 参考スコア（独自算出の注目度）: 5.8088738147746914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Summarization is an important application of large language models (LLMs). Most previous evaluation of summarization models has focused on their performance in content selection, grammaticality and coherence. However, it is well known that LLMs reproduce and reinforce harmful social biases. This raises the question: Do these biases affect model outputs in a relatively constrained setting like summarization? To help answer this question, we first motivate and introduce a number of definitions for biased behaviours in summarization models, along with practical measures to quantify them. Since we find biases inherent to the input document can confound our analysis, we additionally propose a method to generate input documents with carefully controlled demographic attributes. This allows us to sidestep this issue, while still working with somewhat realistic input documents. Finally, we apply our measures to summaries generated by both purpose-built summarization models and general purpose chat models. We find that content selection in single document summarization seems to be largely unaffected by bias, while hallucinations exhibit evidence of biases propagating to generated summaries.
• Abstract（参考訳）: 要約は、大言語モデル(llm)の重要な応用である。 これまでの要約モデルのほとんどの評価は、コンテンツの選択、文法性、コヒーレンスのパフォーマンスに焦点が当てられている。 しかし,llmが有害な社会バイアスを再現し,強化することが知られている。 これらのバイアスは、要約のような比較的制約された設定でモデル出力に影響を与えるか? この質問に答えるために、我々はまず、要約モデルにおけるバイアスされた振る舞いに対する多くの定義を動機付け、導入し、それらを定量化するための実践的な尺度を提示する。 入力文書固有のバイアスは分析を混乱させる可能性があるため、慎重に制御された階層属性を持つ入力文書を生成する方法も提案する。 これにより、幾分リアルな入力ドキュメントで作業しながら、この問題を回避できます。 最後に,本手法を汎用要約モデルと汎用チャットモデルの両方で生成した要約に適用する。 単一文書要約におけるコンテンツ選択は、主にバイアスの影響を受けず、幻覚は生成された要約に伝播するバイアスの証拠を示す。

関連論文リスト

• Mitigating Gender Bias in Contextual Word Embeddings [1.208453901299241]
  本稿では,コンテキスト埋め込みにおける性別バイアスを大幅に軽減する,リップスティック(マスケ・ランゲージ・モデリング)の新たな目的関数を提案する。 また, 静的な埋め込みを嫌悪する新しい手法を提案し, 広範囲な解析と実験による実証実験を行った。
  論文  参考訳（メタデータ） (2024-11-18T21:36:44Z)
• On Positional Bias of Faithfulness for Long-form Summarization [83.63283027830657]
  LLM(Large Language Models)は、長いコンテキスト設定において、入力の途中で情報に過小評価される位置バイアスを示すことが多い。 長文要約におけるこのバイアスの存在、その忠実性への影響、およびこのバイアスを軽減するための様々な技術について検討する。
  論文  参考訳（メタデータ） (2024-10-31T03:50:15Z)
• Understanding Position Bias Effects on Fairness in Social Multi-Document Summarization [1.9950682531209158]
  3つの言語コミュニティからのつぶやきを要約する際の入力文書におけるグループ順序付けの効果について検討する。 以上の結果から,社会的多文書要約では位置バイアスが異なることが示唆された。
  論文  参考訳（メタデータ） (2024-05-03T00:19:31Z)
• Bias in Opinion Summarisation from Pre-training to Adaptation: A Case Study in Political Bias [4.964212137957899]
  オピニオン要約は、製品レビュー、ディスカッションフォーラム、ソーシャルメディアのテキストなどの文書で提示される健全な情報と意見を要約することを目的としている。 偏見のある要約を作ることは 世論を揺さぶるリスクがあります
  論文  参考訳（メタデータ） (2024-02-01T04:15:59Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Fair Abstractive Summarization of Diverse Perspectives [103.08300574459783]
  公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。 はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。 本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T03:38:55Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias [33.99768156365231]
  生成言語モデルにおけるバイアス測定のための因果的定式化を導入する。 我々はOccuGenderというベンチマークを提案し、職業性バイアスを調査するためのバイアス測定手法を提案する。 以上の結果から,これらのモデルでは職業性バイアスがかなり大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)
• Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling [56.70682379371534]
  提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。 我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
  論文  参考訳（メタデータ） (2022-10-22T07:16:19Z)
• The Birth of Bias: A case study on the evolution of gender bias in an English language model [1.6344851071810076]
  私たちは、英語のウィキペディアコーパスでトレーニングされたLSTMアーキテクチャを使って、比較的小さな言語モデルを使用します。 性別の表現は動的であり、訓練中に異なる位相を識別する。 モデルの入力埋め込みにおいて,ジェンダー情報が局所的に表現されることが示される。
  論文  参考訳（メタデータ） (2022-07-21T00:59:04Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。