論文の概要: SCOPE: A Dataset of Stereotyped Prompts for Counterfactual Fairness Assessment of LLMs

• arxiv url: http://arxiv.org/abs/2604.05555v1
• Date: Tue, 07 Apr 2026 07:56:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.705136
• Title: SCOPE: A Dataset of Stereotyped Prompts for Counterfactual Fairness Assessment of LLMs
• Title（参考訳）: SCOPE:LLMの非現実的公正評価のためのステレオタイププロンプトのデータセット
• Abstract要約: SCOPEは241,280のプロンプトを120,640の対物対にまとめている。 このリソースは、公正性、堅牢性、および反事実整合性を評価するために、制御され、セマンティックに整合し、意図を意識した基盤を提供する。
• 参考スコア（独自算出の注目度）: 45.94124349318317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) now serve as the foundation for a wide range of applications, from conversational assistants to decision support tools, making the issue of fairness in their results increasingly important. Previous studies have shown that LLM outputs can shift when prompts reference different demographic groups, even when intent and semantic content remain constant. However, existing resources for probing such disparities rely primarily on small, template-based counterfactual examples or fixed sentence pairs. These benchmarks offer limited linguistic diversity, narrow topical coverage, and little support for analyzing how communicative intent affects model behavior. To address these limitations, we introduce SCOPE (Stereotype-COnditioned Prompts for Evaluation), a large-scale dataset of counterfactual prompt pairs designed to enable systematic investigation of group-sensitive behavior in LLMs. SCOPE contains 241,280 prompts organized into 120,640 counterfactual pairs, each grounded in one of 1,438 topics and spanning nine bias dimensions and 1,536 demographic groups. All prompts are generated under four distinct communicative intents: Question, Recommendation, Direction, and Clarification, ensuring broad coverage of common interaction styles. This resource provides a controlled, semantically aligned, and intent-aware basis for evaluating fairness, robustness, and counterfactual consistency.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、会話アシスタントから意思決定支援ツールに至るまで、幅広いアプリケーションの基盤として機能し、その結果の公平性の問題がますます重要になっている。 従来の研究では、意図や意味的内容が一定であっても、異なる人口集団を参照するよう促すと、LCMの出力が変化しうることが示されている。 しかし、このような相違を推定するための既存のリソースは、主に小さなテンプレートベースの対実例や固定文対に依存している。 これらのベンチマークは、限られた言語的多様性、狭い話題のカバレッジ、そしてコミュニケーション意図がモデル行動にどのように影響するかを分析するためのほとんどサポートを提供する。 これらの制約に対処するために,LLMにおけるグループ感性行動の体系的調査を可能にするために設計された,大規模な対実的プロンプトペアのデータセットであるSCOPE(Stereotype-Conditioned Prompts for Evaluation)を導入する。 SCOPEには、120,640の対物対で構成された241,280のプロンプトがあり、それぞれ1,438のトピックの1つと9つのバイアス次元と1,536の人口集団で構成されている。 すべてのプロンプトは4つの異なるコミュニケーション意図に基づいて生成される:質問、勧告、指示、明確化。 このリソースは、公正性、堅牢性、および反事実整合性を評価するために、制御され、セマンティックに整合し、意図を意識した基盤を提供する。

関連論文リスト

• A Large-Scale Multi-Dimensional Empirical Study of LLMs for Conversation Summarization [17.601111891544885]
  OmniCSEvalは6つの実世界のシナリオをまたいだ1,800の多様な会話からなる統合ベンチマークである。 きめ細かな評価には、キーファクトマッチングを統合した双方向のファクトチェックフレームワークを使用し、完全性と簡潔性を評価する。 推論能力とモデルスケールによってグループ分けされた4つのカテゴリにわたる28個のLLMを評価した。
  論文  参考訳（メタデータ） (2026-06-14T18:57:01Z)
• Auditing Support Strategies in LLMs through Grounded Multi-Turn Social Simulation [2.102846336724103]
  5つのRedditコミュニティからの支持を求める物語は、順序づけられた断片に分解される。 サポート構成は、推定された苦痛とともに体系的にシフトする。 コミュニティコンテキストは、人口統計カテゴリーではなく、行動、トピック、談話規範を形作る。
  論文  参考訳（メタデータ） (2026-04-18T17:36:15Z)
• Query-Document Dense Vectors for LLM Relevance Judgment Bias Analysis [4.719505127252616]
  大規模言語モデル (LLM) は、情報検索 (IR) 評価収集のための関連評価器として使われている。 我々は、LLMが平均的にどれだけ良いかを単に理解するのではなく、関係を判断する際に体系的な誤りを犯すかどうかを理解することを目的としている。 クエリドキュメント(Q-D)ペアを結合意味空間に埋め込むクラスタリングベースのフレームワークを導入する。
  論文  参考訳（メタデータ） (2026-01-05T03:02:33Z)
• ClarifyMT-Bench: Benchmarking and Improving Multi-Turn Clarification for Conversational Large Language Models [32.099137908375546]
  ClarifyMT-Benchは、大規模言語モデル(LLM)におけるマルチターン明確化のためのベンチマークである。 多様なあいまいさソースと相互作用パターンをキャプチャする6,120個のマルチターン対話を構築した。 textbfClarifyAgentは,認知,予測,追跡,計画に明確化を分解するエージェントアプローチである。
  論文  参考訳（メタデータ） (2025-12-24T11:39:00Z)
• Quantifying Fairness in LLMs Beyond Tokens: A Semantic and Statistical Perspective [24.54292750583169]
  大規模言語モデル(LLM)は、しばしば固有のバイアスを伴う応答を生成し、現実のアプリケーションにおける信頼性を損なう。 LLMにおけるグループレベルの公平性を評価するための新しい統計フレームワークであるFiSCo(Fine-fine Semantic Comparison)を提案する。 モデル出力を意味的に異なるクレームに分解し、グループ間およびグループ間の類似性を比較するために統計的仮説テストを適用する。
  論文  参考訳（メタデータ） (2025-06-23T18:31:22Z)
• ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
  明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。 驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
  論文  参考訳（メタデータ） (2025-02-21T14:23:14Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Semantic Consistency for Assuring Reliability of Large Language Models [9.040736633675136]
  大規模言語モデル(LLM)は、様々な自然言語タスクに対して顕著な流布と能力を示す。 セマンティック一貫性の一般的な尺度を導入し、様々なLLMの性能を評価するために、この指標の複数バージョンを定式化する。 本稿では,Ask-to-Choose (A2C) と呼ばれる新しいプロンプト戦略を提案する。
  論文  参考訳（メタデータ） (2023-08-17T18:11:33Z)
• L-Eval: Instituting Standardized Evaluation for Long Context Language Models [91.05820785008527]
  長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。 20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。 その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-07-20T17:59:41Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。