論文の概要: A Japanese Benchmark for Evaluating Social Bias in Reasoning Based on Attribution Theory

• arxiv url: http://arxiv.org/abs/2604.00568v1
• Date: Wed, 01 Apr 2026 07:21:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.888098
• Title: A Japanese Benchmark for Evaluating Social Bias in Reasoning Based on Attribution Theory
• Title（参考訳）: 帰属理論に基づく推論における社会的バイアス評価のための日本語ベンチマーク
• Abstract要約: 既存の日本のベンチマークは、英語データの翻訳に大きく依存している。 JUBAKU-v2' という新たなデータセットを構築した。
• 参考スコア（独自算出の注目度）: 29.89750389358254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In enhancing the fairness of Large Language Models (LLMs), evaluating social biases rooted in the cultural contexts of specific linguistic regions is essential. However, most existing Japanese benchmarks heavily rely on translating English data, which does not necessarily provide an evaluation suitable for Japanese culture. Furthermore, they only evaluate bias in the conclusion, failing to capture biases lurking in the reasoning. In this study, based on attribution theory in social psychology, we constructed a new dataset, ``JUBAKU-v2,'' which evaluates the bias in attributing behaviors to in-groups and out-groups within reasoning while fixing the conclusion. This dataset consists of 216 examples reflecting cultural biases specific to Japan. Experimental results verified that it can detect performance differences across models more sensitively than existing benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)の公平性を高めるためには、特定の言語領域の文化的文脈に根ざした社会的偏見を評価することが不可欠である。 しかし、既存の日本のベンチマークのほとんどは、必ずしも日本文化に適した評価を与えていない英語データの翻訳に大きく依存している。 さらに、彼らは結論のバイアスのみを評価し、推論に潜むバイアスを捉えなかった。 本研究では, 社会心理学における帰属論に基づき, 結論を定めながら, 帰属行動の帰属行動と帰属行動のバイアスを評価する新たなデータセット「JUBAKU-v2」を構築した。 本データセットは,日本固有の文化バイアスを反映した216例からなる。 実験の結果、既存のベンチマークよりも敏感にモデル間の性能差を検出できることが確認された。

関連論文リスト

• To Compare, or Not to Compare: On Methodological Practices in Evaluating Social Bias [61.40435736418359]
  異質なベンチマークを標準化する統一的なフレームワークを導入し、孤立した人口統計評価と強制選択比較設定を対比する。 比較設定は、主に不特定文脈によって引き起こされる潜在識別のアグレッシブな触媒として機能することを示す。 最後に、この比較偏見はモデルサイズと正にスケールする一般化された現象であることを示す。
  論文  参考訳（メタデータ） (2026-06-23T13:53:50Z)
• JUBAKU: An Adversarial Benchmark for Exposing Culturally Grounded Stereotypes in Japanese LLMs [26.36958334417298]
  本稿では,日本文化の文脈に合わせて,日本語のcUlture adversarial BiAs benchmarK(JUBAKU)について紹介する。 既存のベンチマークとは異なり、JUBAKUは日本語のアノテータが手作りした対話シナリオを特徴としている。 全てのモデルは明らかにJUBAKUに偏りを示し、確率ベースラインの50%以下で平均精度は23%であった。
  論文  参考訳（メタデータ） (2026-03-21T00:38:14Z)
• JBBQ: Japanese Bias Benchmark for Analyzing Social Biases in Large Language Models [24.351580958043595]
  本稿では,英語バイアスベンチマークBBQに基づいて,質問回答のための日本語バイアスベンチマークデータセット(JBBQ)を構築した。 JBBQの精度が向上した現在の日本語LLMでは,そのバイアススコアが増大していることが示されている。 社会的バイアスと思考の連鎖について警告を発し、モデル出力におけるバイアスの効果を減少させる。
  論文  参考訳（メタデータ） (2024-06-04T07:31:06Z)
• Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [49.3814117521631]
  大規模言語モデル(LLM)におけるバイアスと公平性の標準ベンチマークは、プロンプトによって記述されたユーザー属性とインプットの関係を測定する。 本研究では, 子どもの就寝時間, ユーザ・ペルソナ, 英語学習演習の3つの文脈から, RUTEdの類似性を評価する。 標準偏差指標は、より現実的な偏差指標と有意な相関関係がないことがわかった。
  論文  参考訳（メタデータ） (2024-02-20T01:49:15Z)
• Semantic Properties of cosine based bias scores for word embeddings [48.0753688775574]
  本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。 これらの要件について,コサインに基づくスコアを文献から分析する。 これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
  論文  参考訳（メタデータ） (2024-01-27T20:31:10Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
  本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。 既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。 我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
  論文  参考訳（メタデータ） (2023-11-15T16:35:59Z)
• KoBBQ: Korean Bias Benchmark for Question Answering [28.091808407408823]
  Bias Benchmark for Question Answering (BBQ)は、言語モデル(LM)の社会的バイアスを評価するように設計されている。 韓国のバイアスベンチマークデータセットであるKoBBQを紹介する。 本稿では,データセットの文化的適応を考慮に入れた一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2023-07-31T15:44:15Z)
• The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks [75.58692290694452]
  社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。 これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
  論文  参考訳（メタデータ） (2022-10-18T17:58:39Z)
• Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
  本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。 我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
  論文  参考訳（メタデータ） (2022-10-17T08:55:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。