論文の概要: MORPHOGEN: A Multilingual Benchmark for Evaluating Gender-Aware Morphological Generation
- arxiv url: http://arxiv.org/abs/2604.18914v1
- Date: Mon, 20 Apr 2026 23:35:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-22 22:41:49.538872
- Title: MORPHOGEN: A Multilingual Benchmark for Evaluating Gender-Aware Morphological Generation
- Title(参考訳): MORPHOGEN: 性別を考慮した形態素生成評価のための多言語ベンチマーク
- Authors: Mehul Agarwal, Aditya Aggarwal, Arnav Goel, Medha Hira, Anubha Gupta,
- Abstract要約: 形態学的に豊かな言語では、性は動詞、代名詞、さらには性について明示的で暗黙的な言及を持つ一人称構成にも影響を及ぼす。
そこで本研究では, 文法的に多様である3つの言語において, ジェンダー・アウェア・ジェネレーションを評価するための, 形態的基盤化されたベンチマークデータセットMORPHOGENを紹介する。
- 参考スコア(独自算出の注目度): 12.819315569430293
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: While multilingual large language models (LLMs) perform well on high-level tasks like translation and question answering, their ability to handle grammatical gender and morphological agreement remains underexplored. In morphologically rich languages, gender influences verb conjugation, pronouns, and even first-person constructions with explicit and implicit mentions of gender. We introduce MORPHOGEN, a morphologically grounded large-scale benchmark dataset for evaluating gender-aware generation in three typologically diverse grammatically gendered languages: French, Arabic, and Hindi. The core task, GENFORM, requires models to rewrite a first-person sentence in the opposite gender while preserving its meaning and structure. We construct a high-quality synthetic dataset spanning these three languages and benchmark 15 popular multilingual LLMs (2B-70B) on their ability to perform this transformation. Our results reveal significant gaps and interesting insights into how current models handle morphological gender. MORPHOGEN provides a focused diagnostic lens for gender-aware language modeling and lays the groundwork for future research on inclusive and morphology-sensitive NLP.
- Abstract(参考訳): 多言語大言語モデル(LLM)は、翻訳や質問応答といった高レベルなタスクでよく機能するが、文法的ジェンダーや形態的合意を扱う能力はいまだ未定である。
形態学的に豊かな言語では、性は動詞の活用、代名詞、さらには性について明示的で暗黙的な言及を持つ一人称構成にも影響を及ぼす。
我々は,フランス語,アラビア語,ヒンディー語という,文法的に多様性のある3つの言語において,ジェンダー・アウェア・ジェネレーションを評価するための,形態学的基盤を持つ大規模ベンチマークデータセットであるMORPHOGENを紹介した。
GENFORMのコアタスクは、その意味と構造を保ちながら、逆の性別で1対1の文を書き換えるモデルを必要とする。
これらの3言語にまたがる高品質な合成データセットを構築し、この変換を行う能力に基づいて、人気のある15の多言語 LLM (2B-70B) をベンチマークする。
その結果、現在のモデルが形態学的ジェンダーをどのように扱うかについて、大きなギャップと興味深い洞察が明らかとなった。
MORPHOGENは、性別対応言語モデリングに焦点をあてた診断レンズを提供し、包括的で形態に敏感なNLPの研究の基盤となる。
関連論文リスト
- EuroGEST: Investigating gender stereotypes in multilingual language models [58.871032460235575]
EuroGESTは、英語と29のヨーロッパ言語にまたがるLLMにおける性別ステレオタイプ推論を計測するためのデータセットである。
すべての言語で最強のステレオタイプは、女性が「美」、「共感」、そして「否定」であり、男性は「リーダー」、「強く、タフ」、そして「職業的」であることを示している。
論文 参考訳(メタデータ) (2025-06-04T11:58:18Z) - Mind the Inclusivity Gap: Multilingual Gender-Neutral Translation Evaluation with mGeNTE [34.11872938329087]
ジェンダーニュートラル翻訳(GNT)は、言語間のより公平なコミュニケーションに向けた言語戦略である。
我々は、専門家によるリソースであるmGeNTEを導入し、包括的翻訳の最初の体系的多言語的評価を行う。
en-es/de/it/elの実験では、モデルが中立性が適切かどうかを認識できるが、中立的な翻訳を一貫して生成することはできないことが明らかになった。
論文 参考訳(メタデータ) (2025-01-16T09:35:15Z) - Leveraging Large Language Models to Measure Gender Representation Bias in Gendered Language Corpora [9.959039325564744]
大規模言語モデル(LLM)は、しばしば、トレーニングデータに埋め込まれた社会的バイアスを継承し、増幅する。
性バイアスとは、特定の役割や特性と特定の性別の関連性である。
ジェンダー表現バイアスは、性別の異なる個人への参照の不平等な頻度である。
論文 参考訳(メタデータ) (2024-06-19T16:30:58Z) - Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。
多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。
以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
論文 参考訳(メタデータ) (2024-01-29T12:02:28Z) - Analyzing Gender Representation in Multilingual Models [59.21915055702203]
実践的なケーススタディとして,ジェンダーの区別の表現に焦点をあてる。
ジェンダーの概念が、異なる言語で共有された部分空間にエンコードされる範囲について検討する。
論文 参考訳(メタデータ) (2022-04-20T00:13:01Z) - Under the Morphosyntactic Lens: A Multifaceted Evaluation of Gender Bias
in Speech Translation [20.39599469927542]
ジェンダーバイアスは言語技術に影響を及ぼす問題として広く認識されている。
現代の評価慣行のほとんどは、合成条件下での職業名詞の狭いセットに単語レベルの焦点をあてている。
このようなプロトコルは、性合意のモルフォシンタクティック連鎖を特徴とする文法性言語の重要な特徴を見落としている。
論文 参考訳(メタデータ) (2022-03-18T11:14:16Z) - Quantifying Gender Bias Towards Politicians in Cross-Lingual Language
Models [104.41668491794974]
代名詞として政治家の名前を取り巻く言語モデルによって生成される形容詞と動詞の用法を定量化する。
死者や指定された言葉が男女の政治家と関連しているのに対し、美人や離婚といった特定の言葉が主に女性政治家に関係していることが判明した。
論文 参考訳(メタデータ) (2021-04-15T15:03:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。