論文の概要: ProText: A benchmark dataset for measuring (mis)gendering in long-form texts

• arxiv url: http://arxiv.org/abs/2603.27838v1
• Date: Sun, 29 Mar 2026 19:45:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.139968
• Title: ProText: A benchmark dataset for measuring (mis)gendering in long-form texts
• Title（参考訳）: ProText: 長文で(ミス)ジェンダーを測定するためのベンチマークデータセット
• Authors: Hadas Kotek, Margit Bowler, Patrick Sonnenberg, Yu'an Yang,
• Abstract要約: ProTextは、スタイリスティックに多彩な長文の英文で性別や性差を測定するためのデータセットである。 ProTextは3つの次元にまたがる: Theme nouns(名前、職業、タイトル)、Theme category(ステレオタイプ:男性、ステレオタイプ:女性、性中立/非ジェンダー)、Pronoun category(男性、女性、性中立)。 このデータセットは、要約や書き直しといったテキスト変換において、最先端の大規模言語モデルを使って(ミスを)探すように設計されている。
• 参考スコア（独自算出の注目度）: 4.180685366029136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce ProText, a dataset for measuring gendering and misgendering in stylistically diverse long-form English texts. ProText spans three dimensions: Theme nouns (names, occupations, titles, kinship terms), Theme category (stereotypically male, stereotypically female, gender-neutral/non-gendered), and Pronoun category (masculine, feminine, gender-neutral, none). The dataset is designed to probe (mis)gendering in text transformations such as summarization and rewrites using state-of-the-art Large Language Models, extending beyond traditional pronoun resolution benchmarks and beyond the gender binary. We validated ProText through a mini case study, showing that even with just two prompts and two models, we can draw nuanced insights regarding gender bias, stereotyping, misgendering, and gendering. We reveal systematic gender bias, particularly when inputs contain no explicit gender cues or when models default to heteronormative assumptions.
• Abstract（参考訳）: ProTextは、スタイリスティックに多彩な長文の英文で性別や性差を測定するためのデータセットである。 ProTextは3つの次元にまたがる: テーマ名詞(名前、職業、タイトル、血縁関係用語)、テーマカテゴリー(ステレオタイプで男性、ステレオタイプで女性、ジェンダーニュートラル/非ジェンダー)、プロ名詞カテゴリー(男性、女性、性別ニュートラル、なし)。 このデータセットは、要約や書き直しのようなテキスト変換における(ミス)ジェンダーを、最先端の大規模言語モデルを使って探索するように設計されている。 ミニケーススタディを通じてProTextを検証したところ、わずか2つのプロンプトと2つのモデルであっても、性別バイアス、ステレオタイピング、ミスジェンダー、性別に関する微妙な洞察を引き出すことができることがわかった。 特に、入力に明示的な性別の手がかりがない場合や、モデルが既定のヘテロノルム的仮定である場合など、体系的な性別バイアスを明らかにします。

関連論文リスト

• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Building Bridges: A Dataset for Evaluating Gender-Fair Machine Translation into German [17.924716793621627]
  英独機械翻訳(MT)におけるジェンダーフェア言語の研究 2つの商用システムと6つのニューラルMTモデルを含む最初のベンチマーク研究を行う。 以上の結果から,ほとんどのシステムでは男性型が主流であり,性別ニュートラル変種は稀である。
  論文  参考訳（メタデータ） (2024-06-10T09:39:19Z)
• Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts [80.21033860436081]
  本稿では, モデルが非現実的データ拡張を通じて, ジェンダーステレオタイプ摂動にどう反応するかを検討する。 実験結果から, 性別の摂動に直面すると, モデルの性能低下がわずかであることがわかった。 反現実的なトレーニングデータに基づいて微調整を行うと、モデルは反ステレオタイプな物語に対してより堅牢になる。
  論文  参考訳（メタデータ） (2023-10-16T22:25:09Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Gender, names and other mysteries: Towards the ambiguous for gender-inclusive translation [7.322734499960981]
  本稿では,元文が明示的なジェンダーマーカーを欠いている場合について考察するが,目的文はより豊かな文法的ジェンダーによってそれらを含む。 MTデータ中の多くの名前と性別の共起は、ソース言語の「あいまいな性別」で解決できないことがわかった。 ジェンダー・インクルージョンの両面での曖昧さを受け入れるジェンダー・インクルージョン・トランスフォーメーションの可能性について論じる。
  論文  参考訳（メタデータ） (2023-06-07T16:21:59Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。