Fugu-MT 論文翻訳(概要): Social Bias Benchmark for Generation: A Comparison of Generation and QA-Based Evaluations

論文の概要: Social Bias Benchmark for Generation: A Comparison of Generation and QA-Based Evaluations

arxiv url: http://arxiv.org/abs/2503.06987v1
Date: Mon, 10 Mar 2025 07:06:47 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-11 15:52:27.097809
Title: Social Bias Benchmark for Generation: A Comparison of Generation and QA-Based Evaluations
Title（参考訳）: ジェネレーションのためのソーシャルバイアスベンチマーク:ジェネレーションとQAに基づく評価の比較
Authors: Jiho Jin, Woosung Kang, Junho Myung, Alice Oh,
Abstract要約: 本稿では,Bias Benchmark for Generation (BBG) を提案する。 10大言語モデル(LLM)における中性世代と偏り世代の発生確率を計測する。また,長大なストーリー生成評価結果と複数選択BBQ評価結果を比較し,両手法が矛盾する結果をもたらすことを示す。
参考スコア（独自算出の注目度）: 15.045809510740218
License:
Abstract: Measuring social bias in large language models (LLMs) is crucial, but existing bias evaluation methods struggle to assess bias in long-form generation. We propose a Bias Benchmark for Generation (BBG), an adaptation of the Bias Benchmark for QA (BBQ), designed to evaluate social bias in long-form generation by having LLMs generate continuations of story prompts. Building our benchmark in English and Korean, we measure the probability of neutral and biased generations across ten LLMs. We also compare our long-form story generation evaluation results with multiple-choice BBQ evaluation, showing that the two approaches produce inconsistent results.
Abstract（参考訳）: 大規模言語モデル(LLM)における社会的偏見を測定することは重要であるが、既存の偏見評価手法は、長文生成における偏見を評価するのに苦労している。本稿では,LLMがストーリープロンプトの継続を生成することにより,長文生成における社会的バイアスを評価するために,Bias Benchmark for QA (BBQ) の適応版であるBias Benchmark for Generation (BBG)を提案する。英語と韓国語でベンチマークを作成し、中性世代と偏在世代を10 LLMで測定する。また,長大なストーリー生成評価結果と複数選択BBQ評価結果を比較し,両手法が矛盾する結果をもたらすことを示す。

関連論文リスト

Assessing Bias in Metric Models for LLM Open-Ended Generation Bias Benchmarks [3.973239756262797]
本研究では,BOLDやSAGEDといったオープンソースのベンチマークにおいて,そのようなバイアスについて検討する。結果は、より堅牢なバイアスメトリックモデルを要求する、人口統計記述子の不平等な扱いを明らかにしている。
論文参考訳（メタデータ） (2024-10-14T20:08:40Z)
Compare without Despair: Reliable Preference Evaluation with Generation Separability [20.50638483427141]
テストインスタンスがペアの選好評価にどの程度適しているかを推定する尺度であるセパビリティ(Separability)を導入する。候補テストインスタンスでは、セパビリティは1組のモデルから複数の世代をサンプリングし、2つの世代がどの程度区別可能であるかを測定する。実験により、分離性が高いインスタンスは、人間と自動レーダの両方からより一貫した選好格付けが得られることが示された。
論文参考訳（メタデータ） (2024-07-02T01:37:56Z)
VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
我々は、LVLM(Large Vision-Language Models)におけるバイアスを評価するベンチマークであるVLBiasBenchを紹介する。 VLBiasBenchは、年齢、障害ステータス、性別、国籍、身体的外観、人種、宗教、職業、社会経済ステータスを含む9つの異なる社会バイアスのカテゴリを含むデータセットと、人種x性別と人種x社会経済ステータスの2つの交叉バイアスのカテゴリを含む。 15のオープンソースモデルと2つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルに存在するバイアスに関する新たな洞察を得る。
論文参考訳（メタデータ） (2024-06-20T10:56:59Z)
The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
論文参考訳（メタデータ） (2024-06-09T12:30:30Z)
Analyzing Social Biases in Japanese Large Language Models [24.351580958043595]
本稿では,英語バイアスベンチマークBBQに基づいて,質問回答のための日本語バイアスベンチマークデータセット(JBBQ)を構築した。日本語大言語モデル(LLM)における社会的バイアスの分析社会的バイアスに関する警告と、モデルアウトプットにおけるバイアスの影響を減らそうとするChain-of-Thought。
論文参考訳（メタデータ） (2024-06-04T07:31:06Z)
Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [49.3814117521631]
大規模言語モデル(LLM)におけるバイアスと公平性の標準ベンチマークは、ユーザプロンプトに入力された社会的属性と短い応答の関係を測定する。実世界の3つの文脈から類似したRUTEd評価法を開発した。標準偏差指標は、より現実的な偏差指標と有意な相関関係がないことがわかった。
論文参考訳（メタデータ） (2024-02-20T01:49:15Z)
GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-11T12:02:14Z)
The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks [75.58692290694452]
社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
論文参考訳（メタデータ） (2022-10-18T17:58:39Z)
BERTScore is Unfair: On Social Bias in Language Model-Based Metrics for Text Generation [89.41378346080603]
この研究は、PLMに基づくメトリクスにおける社会バイアスに関する最初の体系的研究である。 PLMをベースとした一般的な指標は,従来の6つの属性の指標よりも社会的偏見が著しく高いことが実証された。さらに, PLM層に注入される脱バイアスアダプタを開発し, テキスト生成の評価に高い性能を維持しながら, PLMベースのメトリクスのバイアスを軽減する。
論文参考訳（メタデータ） (2022-10-14T08:24:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。