論文の概要: Spot the BlindSpots: Systematic Identification and Quantification of Fine-Grained LLM Biases in Contact Center Summaries

• arxiv url: http://arxiv.org/abs/2508.13124v1
• Date: Mon, 18 Aug 2025 17:31:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:11.514542
• Title: Spot the BlindSpots: Systematic Identification and Quantification of Fine-Grained LLM Biases in Contact Center Summaries
• Title（参考訳）: スポット・ザ・ブラインドスポット:コンタクトセンター哺乳動物における微粒LDMビアーゼの体系的同定と定量化
• Authors: Kawin Mayilvaghanan, Siddhant Gupta, Ayush Kumar,
• Abstract要約: BlindSpotは15の運用バイアス次元の分類に基づいて構築されたフレームワークである。 BlindSpotは、一対の転写文とその要約において、各バイアス次元のカテゴリ分布を生成する。 分析の結果、バイアスは、サイズや家族に関係なく、すべての評価モデルにまたがって体系的であり、存在することが明らかとなった。
• 参考スコア（独自算出の注目度）: 3.4205390087622582
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Abstractive summarization is a core application in contact centers, where Large Language Models (LLMs) generate millions of summaries of call transcripts daily. Despite their apparent quality, it remains unclear whether LLMs systematically under- or over-attend to specific aspects of the transcript, potentially introducing biases in the generated summary. While prior work has examined social and positional biases, the specific forms of bias pertinent to contact center operations - which we term Operational Bias - have remained unexplored. To address this gap, we introduce BlindSpot, a framework built upon a taxonomy of 15 operational bias dimensions (e.g., disfluency, speaker, topic) for the identification and quantification of these biases. BlindSpot leverages an LLM as a zero-shot classifier to derive categorical distributions for each bias dimension in a pair of transcript and its summary. The bias is then quantified using two metrics: Fidelity Gap (the JS Divergence between distributions) and Coverage (the percentage of source labels omitted). Using BlindSpot, we conducted an empirical study with 2500 real call transcripts and their summaries generated by 20 LLMs of varying scales and families (e.g., GPT, Llama, Claude). Our analysis reveals that biases are systemic and present across all evaluated models, regardless of size or family.
• Abstract（参考訳）: 抽象的な要約はコンタクトセンターの中核的なアプリケーションであり、Large Language Models (LLMs) は毎日数百万のコールトランスクリプトを生成する。 明らかな品質にもかかわらず、LLMが書面の特定の側面に体系的に過小評価されているか、過小評価されているかは不明確であり、生成された要約にバイアスが生じる可能性がある。 以前の研究は社会的偏見と位置的偏見を調査してきたが、コンタクトセンターの運営に関係する特定の形態の偏見は未解明のままである。 このギャップに対処するために、我々はBlindSpotを紹介した。BlindSpotは15の運用バイアス次元(例えば、分散性、話者、トピック)の分類に基づいて構築され、これらのバイアスの同定と定量化を目的としている。 BlindSpot は LLM をゼロショット分類器として利用し、一対の転写文とその要約における各バイアス次元のカテゴリー分布を導出する。 バイアスは、Fidelity Gap(ディストリビューション間のJS分散)とCoverage(ソースラベルのパーセンテージを省略)の2つのメトリクスを使って定量化されます。 BlindSpotを用いて2500の実呼書き起こしと20のLLM(例えば、GPT、Llama、Claude)で生成された要約文を用いて実験を行った。 分析の結果、バイアスは、サイズや家族に関わらず、すべての評価モデルにまたがって体系的であり、存在することが明らかとなった。

関連論文リスト

• No LLM is Free From Bias: A Comprehensive Study of Bias Evaluation in Large Language Models [0.9620910657090186]
  大規模言語モデル(LLM)は、異なる自然言語理解と生成タスクの性能を高めている。 我々は,中小LLMの集合を用いてベンチマークを統一的に評価する。 バイアス検出タスクをバイアスの異なる側面で行うための5つのプロンプト手法を提案する。 その結果, 選択したLLMは, Phi-3.5Bモデルが最も偏りが少ないため, いずれか一方あるいは他方の偏りに悩まされることが示唆された。
  論文  参考訳（メタデータ） (2025-03-15T03:58:14Z)
• Implicit Bias in LLMs: A Survey [2.07180164747172]
  本稿では,大規模言語モデルにおける暗黙バイアスに関する既存の文献を包括的にレビューする。 まず、心理学における暗黙の偏見に関連する重要な概念、理論、方法を紹介する。 検出方法は,単語関連,タスク指向テキスト生成,意思決定の3つの主要なアプローチに分類する。
  論文  参考訳（メタデータ） (2025-03-04T16:49:37Z)
• Unmasking Conversational Bias in AI Multiagent Systems [1.0705399532413618]
  生成モデルを含むマルチエージェントシステムで生じる可能性のあるバイアスは、未研究のままである。 本稿では,対話型大規模言語モデルのマルチエージェントシステムにおけるバイアスの定量化を目的としたフレームワークを提案する。 エコーチャンバー実験で観測されたバイアスは、現在最先端のバイアス検出法で検出されていない。
  論文  参考訳（メタデータ） (2025-01-24T09:10:02Z)
• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  我々は、LVLM(Large Vision-Language Models)におけるバイアスを評価するベンチマークであるVLBiasBenchを紹介する。 VLBiasBenchは、年齢、障害ステータス、性別、国籍、身体的外観、人種、宗教、職業、社会経済ステータスを含む9つの異なる社会バイアスのカテゴリを含むデータセットと、人種x性別と人種x社会経済ステータスの2つの交叉バイアスのカテゴリを含む。 15のオープンソースモデルと2つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルに存在するバイアスに関する新たな洞察を得る。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study [59.13867562744973]
  この研究は、オフ・オブ・ディストリビューション(OOD)シナリオにおけるLMの能力を体系的に評価する。 このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。 具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
  論文  参考訳（メタデータ） (2023-09-15T11:15:47Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。