論文の概要: GRUFF: LLM Pronoun Fidelity, Reasoning, and Biases in German

• arxiv url: http://arxiv.org/abs/2605.30214v1
• Date: Thu, 28 May 2026 16:47:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.555029
• Title: GRUFF: LLM Pronoun Fidelity, Reasoning, and Biases in German
• Title（参考訳）: GRUFF: LLM Pronoun Fidelity, Reasoning, Biases in German
• Authors: Fabian Mewes, Anne Lauscher, Vagrant Gautam,
• Abstract要約: 我々は,ドイツ語の代名詞の忠実度を測定するために,新しい大規模データセットであるGRUFFを用いている。 また, LLMは, 明示的文脈が欠如している場合に, 男性や女性に対して強い文法的一致を示すことを示す。 また, この文脈における職業的ステレオタイプは, 文法的事例間では相関が低かった。
• 参考スコア（独自算出の注目度）: 21.704876993752478
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Third-person singular pronouns have long been used to study stereotypical biases in language models and to test their abilities to reason about reference. More recently, the interplay between reasoning and bias has been investigated with the task of pronoun fidelity, which assesses models' abilities to correctly reuse a previously-specified pronoun for a discourse entity, independent of other potentially distracting discourse entities mentioned in between. However, such research focuses on English, which is a language with limited grammatical gender and almost no gender agreement. In this paper we contribute a novel, large-scale dataset, GRUFF, to measure pronoun fidelity in German, covering four different gender agreement systems in nouns, and four sets of pronouns. With this dataset, we show that LLMs show strong grammatical agreement for masculine and feminine entities in the absence of explicit context, but not for neopronouns xier and en. Models are generally not robust to distractors, but encoder-only models are more robust in German than in English, reflecting the importance of grammatical gender. Finally, we show that occupational stereotypes in this context are poorly correlated across grammatical cases, and across most models, except ones with closely related architectures. We release all code and data to encourage further work on gender-inclusive language and referential reasoning in German.
• Abstract（参考訳）: 3人称単数代名詞は、言語モデルにおけるステレオタイプバイアスの研究や、参照について推論する能力のテストに長い間使われてきた。 近年, 推論と偏見の相互作用は, モデルが以前に特定した言明を表現対象として正しく再利用する能力を評価するための代名詞忠実さのタスクによって研究されている。 しかし、このような研究は、文法的な性別が限られ、性別合意がほとんどない言語である英語に焦点を当てている。 本稿では,ドイツ語における代名詞の忠実度を測定するために,名詞における4つの性別合意システムと4つの代名詞からなる,新しい大規模データセットGRUFFを提案する。 本データセットでは, 男性および女性について, 明示的文脈が欠如している場合に, 男性, 女性に対して強い文法的一致を示すが, ニュープロノウンs xier および en については示さない。 モデルは通常、気晴らしに対して堅牢ではないが、エンコーダのみのモデルは英語よりもドイツ語の方が頑丈であり、文法的な性別の重要性を反映している。 最後に, この文脈における作業ステレオタイプは, 文法的ケース, およびほとんどのモデルにおいて, 密接な関係のあるアーキテクチャを除いて, 相関が低いことを示す。 我々は、すべてのコードとデータを公開し、ドイツ語のジェンダー非包括的言語と参照推論に関するさらなる研究を奨励します。

関連論文リスト

• EuroGEST: Investigating gender stereotypes in multilingual language models [58.871032460235575]
  EuroGESTは、英語と29のヨーロッパ言語にまたがるLLMにおける性別ステレオタイプ推論を計測するためのデータセットである。 すべての言語で最強のステレオタイプは、女性が「美」、「共感」、そして「否定」であり、男性は「リーダー」、「強く、タフ」、そして「職業的」であることを示している。
  論文  参考訳（メタデータ） (2025-06-04T11:58:18Z)
• What an Elegant Bridge: Multilingual LLMs are Biased Similarly in Different Languages [51.0349882045866]
  本稿では,Large Language Models (LLMs) の文法的ジェンダーのレンズによるバイアスについて検討する。 様々な言語における形容詞を持つ名詞を記述するためのモデルを提案し,特に文法性のある言語に焦点を当てた。 単純な分類器は、偶然以上の名詞の性別を予測できるだけでなく、言語間の移動可能性も示せる。
  論文  参考訳（メタデータ） (2024-07-12T22:10:16Z)
• Building Bridges: A Dataset for Evaluating Gender-Fair Machine Translation into German [17.924716793621627]
  英独機械翻訳(MT)におけるジェンダーフェア言語の研究 2つの商用システムと6つのニューラルMTモデルを含む最初のベンチマーク研究を行う。 以上の結果から,ほとんどのシステムでは男性型が主流であり,性別ニュートラル変種は稀である。
  論文  参考訳（メタデータ） (2024-06-10T09:39:19Z)
• Robust Pronoun Fidelity with English LLMs: Are they Reasoning, Repeating, or Just Biased? [26.583741801345507]
  英語における代名詞の忠実度を測定するために,500万件以上のデータセットを提示する。 その結果, 代名詞の忠実度は, 人間が100%近い精度を達成できるような, 単純で自然主義的な環境では, 頑健ではないことがわかった。
  論文  参考訳（メタデータ） (2024-04-04T01:07:14Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• MISGENDERED: Limits of Large Language Models in Understanding Pronouns [46.276320374441056]
  我々は、英語のジェンダーニュートラル代名詞を正しく活用する能力について、人気言語モデルの評価を行った。 提案するMISGENDEREDは,大言語モデルが好む代名詞を正しく活用する能力を評価するためのフレームワークである。
  論文  参考訳（メタデータ） (2023-06-06T18:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。