Fugu-MT 論文翻訳(概要): The Missing Minimal Pair: Stereotype Evaluation in LLMs

論文の概要: The Missing Minimal Pair: Stereotype Evaluation in LLMs

arxiv url: http://arxiv.org/abs/2610.08747v1
Date: Tue, 06 Oct 2026 17:41:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-08 02:58:30.154748
Title: The Missing Minimal Pair: Stereotype Evaluation in LLMs
Title（参考訳）: 欠落する最小ペア:LLMにおけるステレオタイプ評価
Abstract要約: 本稿では,2つの比較軸を導入し,ロバストなステレオタイプ評価を行う双対最小ペア構成を提案する。我々は、我々の枠組みを英語、ロシア語、スペイン語、中国語のステレオタイプに当てはめている。これらの指標の1つは、社会的グループとステレオタイプ属性間の相互情報(MI)をモデル化することで、バイアスに関する新たな視点を提供する。
参考スコア（独自算出の注目度）: 15.28561323891108
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A common approach to measuring bias in Large Language Models is to compare the log-likelihoods of two contrastive stereotype sentences. We argue that such single-pair comparisons are often unreliable: simply rewriting the same stereotype with an alternative attribute can yield logically inconsistent preferences. To address this, we propose a dual minimal pair setup that introduces two axes of comparison for robust stereotype evaluation. First, we present a data-augmentation framework that fills critical gaps in existing stereotype datasets by generating paraphrases and alternate attributes. We apply our framework on a set of English, Russian, Spanish and Chinese stereotypes. Second, we introduce two evaluation metrics tailored to the dual minimal pair setup. One of these metrics provides a new perspective on bias by modeling the mutual information (MI) between social groups and stereotyped attributes. This MI-based metric is better suited for aggregation and enables more robust comparisons of stereotype strength across different languages and models. Our code is available at https://github.com/stepanat/missing-minimal-pair/.
Abstract（参考訳）: 大きな言語モデルにおけるバイアスを測定するための一般的なアプローチは、2つの対照的なステレオタイプ文の対数類似度を比較することである。単に別の属性で同じステレオタイプを書き換えれば、論理的に矛盾した選好が得られる。そこで本研究では,2つの比較軸を導入し,ロバストなステレオタイプ評価を行う2つの最小ペア構成を提案する。まず、パラフレーズと代替属性を生成することによって、既存のステレオタイプデータセットの臨界ギャップを埋めるデータ拡張フレームワークを提案する。我々は、我々の枠組みを英語、ロシア語、スペイン語、中国語のステレオタイプに当てはめている。第二に、二対の最小ペアの設定に適した2つの評価指標を導入する。これらの指標の1つは、社会的グループとステレオタイプ属性間の相互情報(MI)をモデル化することで、バイアスに関する新たな視点を提供する。このMIベースの計量はアグリゲーションに適しており、異なる言語やモデル間でのステレオタイプ強度のより堅牢な比較を可能にする。私たちのコードはhttps://github.com/stepanat/missing-minimal-pair/で利用可能です。

関連論文リスト

Verifiable, Articulable, and Tacit Components of Preference [115.39287436225764]
317万人の嗜好判断によってラベル付けされた2.8万のテキストを含む、大規模でラベル付き選好データセットCreativePreferencesを導入する。 VAT-VA, 検証可能性ギャップ, 検証可能性ギャップ, VAT-Vを観測し, 新たな測定手法により各ギャップの上下境界を推定した。 1)人間の世代において、完全なモデルは人間の嗜好とより密接な一致を示し、しばしば明瞭な基準に相容れないこと、(2)グッドハートの法則に類似して、嗜好を暗黙の次元から切り離すこと、である。
論文参考訳（メタデータ） (2026-10-02T09:01:07Z)
Acmite: Mitigating Gender Bias in LLMs through Concept-Guided Mutual Information [10.02374426255413]
Acmiteは、ターゲットおよび選択的脱バイアスのための軽量な概念誘導フレームワークである。ライトウェイトなLoRAアダプタは、入力がステレオタイプ関連の概念と十分に類似している場合にのみ、ベースモデルを凍結して、推論時にアクティベートして訓練される。実験により、Acmiteは、相補的な評価形式にまたがる性別バイアスを効果的に軽減し、バイアス非関連タスクにおける競争性能を維持していることが示された。
論文参考訳（メタデータ） (2026-10-01T13:46:57Z)
MinCU: A Fine-Grained Benchmark for Grounded Minimal-Change Understanding in Image Pairs [75.68851107229308]
マルチモーダル大言語モデル(MLLM)において、身近な画像間のきめ細かい相違の局所化と記述は、重要で未探索の能力である。各サンプルは、対象カテゴリ、属性、カウント、空間的位置の1つの原子的変化によって異なる画像対から構成される。
論文参考訳（メタデータ） (2026-09-20T03:48:09Z)
Towards Auditing Large Language Models: Improving Text-based Stereotype Detection [5.3634450268516565]
i) ジェンダー、人種、職業、宗教のステレオタイプテキストの52,751件を含むマルチグラインステレオタイプデータセットを紹介する。そこで本研究では,新しいデータセットでトレーニングしたモデルについて,厳密に検証する実験を行った。実験によると、マルチクラスの設定でモデルをトレーニングすることは、すべてのバイナリの1つよりも優れている。
論文参考訳（メタデータ） (2023-11-23T17:47:14Z)
Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
論文参考訳（メタデータ） (2023-11-15T16:35:59Z)
How Different Is Stereotypical Bias Across Languages? [1.0467550794914122]
近年の研究では、事前学習した英語モデルのステレオタイプバイアスを評価する方法が実証されている。我々は、英語のStereoSetデータセット(Nadeem et al., 2021)を半自動でドイツ語、フランス語、スペイン語、トルコ語に翻訳する。分析から得られた主な特徴は、mGPT-2は言語間で驚くべき反ステレオタイプ行動を示し、英語(モノリンガル)モデルは最も強いバイアスを示し、データセットに反映されるステレオタイプはトルコのモデルにはほとんど存在しないということである。
論文参考訳（メタデータ） (2023-07-14T13:17:11Z)
Controlling for Stereotypes in Multimodal Language Model Evaluation [0.13706331473063876]
ステレオタイプの有無にかかわらず,言語・視覚言語モデルがどのように視覚信号を使用するかを測定するためのベンチマークセットを2つ提案する。第1のベンチマークは、一般的なオブジェクトのステレオタイプ色をテストするように設計されており、第2のベンチマークは、ジェンダーステレオタイプを考慮に入れている。
論文参考訳（メタデータ） (2023-02-03T07:27:50Z)
Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
論文参考訳（メタデータ） (2021-12-15T04:19:52Z)
CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models [30.582132471411263]
Crowd Stereotype Pairsベンチマーク(CrowS-Pairs)を紹介する。 CrowS-Pairsには1508の例があり、人種、宗教、年齢など9種類の偏見を扱うステレオタイプをカバーしている。その結果, CrowS-Pairs の各カテゴリーにおいて, 広く使われている3つの文のすべてが, 実質的にステレオタイプを好んでいることがわかった。
論文参考訳（メタデータ） (2020-09-30T22:38:40Z)
On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
論文参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。