論文の概要: Bias Mitigation or Cultural Commonsense? Evaluating LLMs with a Japanese Dataset

• arxiv url: http://arxiv.org/abs/2509.24468v1
• Date: Mon, 29 Sep 2025 08:45:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.871538
• Title: Bias Mitigation or Cultural Commonsense? Evaluating LLMs with a Japanese Dataset
• Title（参考訳）: バイアス緩和と文化的コモンセンス : 日本語データセットを用いたLCMの評価
• Authors: Taisei Yamamoto, Ryoma Kumon, Danushka Bollegala, Hitomi Yanaka,
• Abstract要約: 大規模言語モデル(LLM)は社会的偏見を示し、様々な嫌悪法の開発を促す。 従来の研究は、偏見緩和の影響を、主に一般的な言語理解を測るタスクを通じて評価してきた。 文化的常識は社会的偏見と密接に関連しており、どちらも社会的規範や価値観に根ざしている。
• 参考スコア（独自算出の注目度）: 34.65197313327234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) exhibit social biases, prompting the development of various debiasing methods. However, debiasing methods may degrade the capabilities of LLMs. Previous research has evaluated the impact of bias mitigation primarily through tasks measuring general language understanding, which are often unrelated to social biases. In contrast, cultural commonsense is closely related to social biases, as both are rooted in social norms and values. The impact of bias mitigation on cultural commonsense in LLMs has not been well investigated. Considering this gap, we propose SOBACO (SOcial BiAs and Cultural cOmmonsense benchmark), a Japanese benchmark designed to evaluate social biases and cultural commonsense in LLMs in a unified format. We evaluate several LLMs on SOBACO to examine how debiasing methods affect cultural commonsense in LLMs. Our results reveal that the debiasing methods degrade the performance of the LLMs on the cultural commonsense task (up to 75% accuracy deterioration). These results highlight the importance of developing debiasing methods that consider the trade-off with cultural commonsense to improve fairness and utility of LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は社会的偏見を示し、様々な嫌悪法の開発を促す。 しかし、脱バイアス法はLLMの能力を低下させる可能性がある。 これまでの研究では、主に社会的バイアスとは無関係な一般的な言語理解を測定するタスクを通じて、バイアス緩和の影響を評価してきた。 対照的に、文化的コモンセンスは、どちらも社会的規範や価値観に根ざしているため、社会的偏見と密接に関連している。 LLMの文化的コモンセンスに対するバイアス緩和の効果はよく研究されていない。 このギャップを考慮し,LLMにおける社会的偏見と文化的常識を統一形式で評価するための日本語ベンチマークであるSOBACO(Social BiAs and Cultural cOmmonsense benchmark)を提案する。 我々は,SOBACO 上でのいくつかの LLM の評価を行い,この方法が LLM の文化的コモンセンスに与える影響について検討した。 以上の結果から, 文化的コモンセンスタスクにおけるLCMの性能低下(最大75%の精度劣化)が明らかとなった。 これらの結果は,LLMの公平性と有用性を向上させるため,文化的コモンセンスとのトレードオフを考慮したデバイアス化手法の開発の重要性を強調した。

関連論文リスト

• An Evaluation of Cultural Value Alignment in LLM [27.437888319382893]
  20カ国の文化と言語を10のLLMで評価し,LLM文化の大規模評価を行った。 以上の結果から,全てのモデルにまたがるアウトプットは中程度の文化的中核となることが示唆された。 より深い調査は、モデルの起源、プロンプト言語、および価値次元が文化的なアウトプットに与える影響に光を当てている。
  論文  参考訳（メタデータ） (2025-04-11T09:13:19Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)
• Large Language Models are Geographically Biased [47.88767211956144]
  我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。 我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
  論文  参考訳（メタデータ） (2024-02-05T02:32:09Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
  本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。 実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
  論文  参考訳（メタデータ） (2023-09-16T07:07:04Z)
• A Survey on Fairness in Large Language Models [28.05516809190299]
  大規模言語モデル(LLM)は、強力なパフォーマンスと開発見通しを示している。 LLMは、未処理のトレーニングデータから社会的バイアスをキャプチャし、そのバイアスを下流のタスクに伝達する。 不公平なLLMシステムは、望ましくない社会的影響と潜在的な害がある。
  論文  参考訳（メタデータ） (2023-08-20T03:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。