論文の概要: Failure of contextual invariance in gender inference with large language models

• arxiv url: http://arxiv.org/abs/2603.23485v1
• Date: Tue, 24 Mar 2026 17:52:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.625537
• Title: Failure of contextual invariance in gender inference with large language models
• Title（参考訳）: 大規模言語モデルを用いた性別推定における文脈不変性の失敗
• Abstract要約: 最小で理論上は非形式的な言論コンテキストを導入し、モデル出力の大規模かつ体系的な変化を引き起こすことを発見した。 文化性ステレオタイプとの相関関係は、文脈が導入されたら、文脈が弱まるか、あるいは消える。 コンテキスト・バイ・Default分析により、モデル全体で19～52%のケースにおいて、この依存が持続することが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.143494686131174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard evaluation practices assume that large language model (LLM) outputs are stable under contextually equivalent formulations of a task. Here, we test this assumption in the setting of gender inference. Using a controlled pronoun selection task, we introduce minimal, theoretically uninformative discourse context and find that this induces large, systematic shifts in model outputs. Correlations with cultural gender stereotypes, present in decontextualized settings, weaken or disappear once context is introduced, while theoretically irrelevant features, such as the gender of a pronoun for an unrelated referent, become the most informative predictors of model behaviour. A Contextuality-by-Default analysis reveals that, in 19--52\% of cases across models, this dependence persists after accounting for all marginal effects of context on individual outputs and cannot be attributed to simple pronoun repetition. These findings show that LLM outputs violate contextual invariance even under near-identical syntactic formulations, with implications for bias benchmarking and deployment in high-stakes settings.
• Abstract（参考訳）: 標準評価プラクティスは、タスクの文脈的に等価な定式化の下で、大きな言語モデル(LLM)出力が安定であると仮定する。 ここでは、この仮定を性別推定の設定で検証する。 制御された代名詞選択タスクを用いて、最小かつ理論的に非形式的な言論コンテキストを導入し、モデル出力の大規模かつ体系的な変化を引き起こすことを発見した。 文脈を弱めるか、あるいは失うかという、非文脈化された文脈に存在する文化的ジェンダーのステレオタイプとの相関が導入されたが、理論的には無関係なアクセントの代名詞の性別のような、無関係な特徴は、モデル行動の最も有意義な予測者となる。 テクスチュアリティ・バイ・デフォー (Contextuality-by-Default) 分析により、モデル全体の19～525%のケースにおいて、この依存は、個々の出力に対する文脈の余分な影響を考慮に入れた後に持続し、単純な代名詞反復によるものではないことが明らかになった。 これらの結果から, LLMの出力は, ほぼ同一の構文的定式化の下でも文脈的不変性に反し, 偏差ベンチマークや高感度環境での展開に影響を及ぼすことが示された。

関連論文リスト

• The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context [76.36635039699112]
  大規模言語モデル(LLM)は、タスク入力に長く、部分的には関係のないコンテキストが伴うような、コンテキストに富んだ環境にますますデプロイされる。 現状のモデルはしばしば、集合レベルでのタスク非関連コンテキストに対して頑健に見える。 しかし、この集合安定性は、指数当たりの不安定性を著しくマスクする。
  論文  参考訳（メタデータ） (2026-07-14T17:01:12Z)
• Alignment Reduces Expressed but Not Encoded Gender Bias: A Unified Framework and Study [3.679036235271287]
  本研究では,大規模言語モデルにおける内在性および外在性バイアスを共同で分析するための統一的な枠組みを提案する。 統一されたプロトコルで測定すると、潜在性情報と表現バイアスが一貫した関連性を見出す。 以上の結果から,後者は表現バイアスを実際に減少させるが,測定可能な性別関連関係は依然として内部表現に存在していることが示唆された。
  論文  参考訳（メタデータ） (2026-03-25T09:35:18Z)
• Context-Aware Counterfactual Data Augmentation for Gender Bias Mitigation in Language Models [14.937360204897415]
  微調整言語モデル(LM)における社会的バイアス軽減の課題は、言語モデリング能力の潜在的な低下である。 本研究では,大きなLMを用いたコンテキスト拡張データ拡張手法であるContext-CDAを提案し,デバイアスコーパスの多様性とコンテキスト関連性を高める。 次に,不確実性に基づくフィルタリングを用いて,ターゲットの小さいLMによる低品質とみなすデファクトを除外する。
  論文  参考訳（メタデータ） (2026-02-10T09:45:21Z)
• What Triggers my Model? Contrastive Explanations Inform Gender Choices by Translation Models [0.0]
  機械翻訳(MT)や大規模言語モデル(LLM)などの(ブラックボックス)モデルによる決定を理解する手段として、解釈可能性を実装することができる。 しかし、この領域の研究は、これらのモデルにおける明らかな問題(性バイアス)に関連して制限されてきた。 本研究では、原文中の入力トークンの形で、対象言語における特定のジェンダーインフレクションの変換モデル選択に影響を与える(または引き起こす)文脈について検討する。
  論文  参考訳（メタデータ） (2025-12-09T10:14:10Z)
• Uncertainty Quantification for Evaluating Machine Translation Bias [8.210153370613941]
  我々は、機械翻訳システムにおける性別バイアスを測定するために不確実性を用いる。 高い翻訳精度は不確実性を適切に示すことと相関せず, 脱バイアスが両症例に異なる影響を及ぼすことが判明した。
  論文  参考訳（メタデータ） (2025-07-24T12:10:21Z)
• Assumed Identities: Quantifying Gender Bias in Machine Translation of Gender-Ambiguous Occupational Terms [12.568906647547815]
  GRAPEは、性別バイアスを評価するための確率ベースの指標である。 GAMBITは、性別のあいまいな職業用語を持つ英語のベンチマークデータセットである。 GRAPEを用いて、いくつかのMTシステムを評価し、ギリシャ語とフランス語の性別による翻訳が社会的ステレオタイプと一致しているか、あるいは相違するかを検討する。
  論文  参考訳（メタデータ） (2025-03-06T12:16:14Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• All Should Be Equal in the Eyes of Language Models: Counterfactually Aware Fair Text Generation [16.016546693767403]
  本研究では,多様な階層のモデル理解を動的に比較し,より公平な文を生成する枠組みを提案する。 CAFIEはより公平なテキストを生成し、公平性と言語モデリング能力の最良のバランスを打ちます。
  論文  参考訳（メタデータ） (2023-11-09T15:39:40Z)
• A Tale of Pronouns: Interpretability Informs Gender Bias Mitigation for Fairer Instruction-Tuned Machine Translation [35.44115368160656]
  機械翻訳モデルがジェンダーバイアスを示すか否かについて検討する。 We found that IFT model default to male-inflected translations, evengarding female occupational stereotypes。 実装が容易で効果的なバイアス緩和ソリューションを提案する。
  論文  参考訳（メタデータ） (2023-10-18T17:36:55Z)
• How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study [59.13867562744973]
  この研究は、オフ・オブ・ディストリビューション(OOD)シナリオにおけるLMの能力を体系的に評価する。 このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。 具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
  論文  参考訳（メタデータ） (2023-09-15T11:15:47Z)
• Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns [53.62845317039185]
  バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。 本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。 事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
  論文  参考訳（メタデータ） (2023-02-11T12:11:03Z)
• Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias [33.99768156365231]
  生成言語モデルにおけるバイアス測定のための因果的定式化を導入する。 我々はOccuGenderというベンチマークを提案し、職業性バイアスを調査するためのバイアス測定手法を提案する。 以上の結果から,これらのモデルでは職業性バイアスがかなり大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• The Gap on GAP: Tackling the Problem of Differing Data Distributions in Bias-Measuring Datasets [58.53269361115974]
  バイアスモデルを検出する診断データセットは、自然言語処理におけるバイアス低減の重要な前提条件である。 収集されたデータの望ましくないパターンは、そのようなテストを誤ったものにします。 実験データにおけるそのようなパターンに対処するために, 実験サンプルを重み付けする理論的基礎的手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T16:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。