論文の概要: Social Bias in Chinese Large Language Models under Social Media Expressions
- arxiv url: http://arxiv.org/abs/2610.14879v1
- Date: Sat, 10 Oct 2026 12:52:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 11:14:11.594387
- Title: Social Bias in Chinese Large Language Models under Social Media Expressions
- Title(参考訳): ソーシャルメディア表現に基づく中国語大言語モデルの社会バイアス
- Abstract要約: 本研究は, 性別, 地域, 職業にまたがる73組のプローブを構築した。
このタスクは、直接的妥当性判断から社会的コンセンサス推定へと再構成される。
- 参考スコア(独自算出の注目度): 19.52535812596676
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing Chinese social-bias benchmarks for large language models largely rely on normalized or template-based expressions, leaving the influence of internet slang, emoji, and sarcasm insufficiently examined. Safety alignment may further compress conventional plausibility ratings toward the lower end of the scale. This study constructs 73 paired probes across gender, region, and occupation. Each probe contains a neutral expression, a social-media-style expression, and a reversed-identity control. The task is reframed from direct plausibility judgment to social consensus estimation. Social-media expressions are divided into stylistic packaging, which preserves semantic polarity, and sarcastic packaging, which reverses surface polarity. Six Chinese-capable large language models are evaluated through paired differences measuring identity bias, stylistic packaging, and sarcasm shift. All models show significant identity-bias effects; five show significantly negative stylistic-packaging effects; and sarcasm shifts display a clear cross-model gradient. These findings demonstrate that expression form is not a transparent carrier in bias evaluation and that lower scores under sarcasm should not be interpreted directly as bias mitigation. The proposed paired design offers a measurement approach for Chinese social-media contexts while also revealing the construct boundary and prompt sensitivity of social consensus estimation.
- Abstract(参考訳): 既存の中国の社会バイアスベンチマークは、主に正規化またはテンプレートベースの表現に依存しており、インターネットスラング、絵文字、皮肉の影響は十分に検証されていない。
安全アライメントは、従来型の可視性評価をスケールの下端に向けて圧縮する。
本研究は, 性別, 地域, 職業にまたがる73組のプローブを構築した。
各プローブは、中立表現、ソーシャルメディアスタイル表現、リバースID制御を含む。
このタスクは、直接的妥当性判断から社会的コンセンサス推定へと再構成される。
ソーシャルメディア表現は、セマンティックな極性を保存するスタイリスティックなパッケージングと、表面の極性を反転させるサーカシックなパッケージングに分けられる。
同一性バイアス, スタイル的パッケージング, サルカズムシフトを測定することで, 6つの中国語対応大言語モデルの評価を行った。
いずれのモデルも有意なアイデンティティバイアス効果を示し、5つのモデルは顕著なネガティブなスタイル的パッケージング効果を示し、サルカズムシフトは明確なクロスモデル勾配を示す。
これらの結果から, 表現形式はバイアス評価において透過的な担体ではなく, サルカズム下での低得点は直接バイアス緩和と解釈すべきでないことが示唆された。
提案したペア設計は,中国社会メディアの文脈を計測すると同時に,構成境界を明らかにし,社会的コンセンサス推定の迅速性を示す。
関連論文リスト
- To Compare, or Not to Compare: On Methodological Practices in Evaluating Social Bias [61.40435736418359]
異質なベンチマークを標準化する統一的なフレームワークを導入し、孤立した人口統計評価と強制選択比較設定を対比する。
比較設定は、主に不特定文脈によって引き起こされる潜在識別のアグレッシブな触媒として機能することを示す。
最後に、この比較偏見はモデルサイズと正にスケールする一般化された現象であることを示す。
論文 参考訳(メタデータ) (2026-06-23T13:53:50Z) - ImplicitBBQ: Benchmarking Implicit Bias in Large Language Models through Characteristic Based Cues [8.68634179512072]
あいまいな文脈における暗示バイアスは、オープンウェイトモデルにおける明示バイアスより6倍以上高い。
暗黙の偏見を84%減少させる数発のプロンプトでさえ、他の次元の4倍の偏見を残している。
モデルプロバイダと研究者のためのコードとデータセットをリリースし、潜在的な緩和テクニックをベンチマークします。
論文 参考訳(メタデータ) (2026-04-02T11:43:10Z) - Dual-Metric Evaluation of Social Bias in Large Language Models: Evidence from an Underrepresented Nepali Cultural Context [3.5764166657860934]
大規模言語モデル(LLM)は、グローバルなデジタルエコシステムにますます影響を及ぼすが、社会的・文化的バイアスを持続させる可能性については、未表現の文脈では理解されていないままである。
GPT-4o-mini, Claude-3-Sonnet, Claude-4-Sonnet, Gemini-2.0-Flash, Gemini-2.0-Lite, Llama-3-70B, Mistral-Nemoの7つの最先端LCMにおける表現バイアスの系統的解析を行った。
論文 参考訳(メタデータ) (2026-03-08T20:26:13Z) - Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。
多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。
これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文 参考訳(メタデータ) (2024-08-14T16:55:06Z) - The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。
我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。
StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
論文 参考訳(メタデータ) (2024-06-14T15:41:06Z) - Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。
既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。
我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
論文 参考訳(メタデータ) (2023-11-15T16:35:59Z) - Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。
テキスト生成における社会的バイアスを軽減するためのステップを提案する。
我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
論文 参考訳(メタデータ) (2021-06-24T17:52:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。