論文の概要: Spot the BlindSpots: Systematic Identification and Quantification of Fine-Grained LLM Biases in Contact Center Summaries
- arxiv url: http://arxiv.org/abs/2508.13124v1
- Date: Mon, 18 Aug 2025 17:31:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-19 14:49:11.514542
- Title: Spot the BlindSpots: Systematic Identification and Quantification of Fine-Grained LLM Biases in Contact Center Summaries
- Title（参考訳）: スポット・ザ・ブラインドスポット:コンタクトセンター哺乳動物における微粒LDMビアーゼの体系的同定と定量化
- Authors: Kawin Mayilvaghanan, Siddhant Gupta, Ayush Kumar,
- Abstract要約: BlindSpotは15の運用バイアス次元の分類に基づいて構築されたフレームワークである。
BlindSpotは、一対の転写文とその要約において、各バイアス次元のカテゴリ分布を生成する。
分析の結果、バイアスは、サイズや家族に関係なく、すべての評価モデルにまたがって体系的であり、存在することが明らかとなった。
- 参考スコア（独自算出の注目度）: 3.4205390087622582
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Abstractive summarization is a core application in contact centers, where Large Language Models (LLMs) generate millions of summaries of call transcripts daily. Despite their apparent quality, it remains unclear whether LLMs systematically under- or over-attend to specific aspects of the transcript, potentially introducing biases in the generated summary. While prior work has examined social and positional biases, the specific forms of bias pertinent to contact center operations - which we term Operational Bias - have remained unexplored. To address this gap, we introduce BlindSpot, a framework built upon a taxonomy of 15 operational bias dimensions (e.g., disfluency, speaker, topic) for the identification and quantification of these biases. BlindSpot leverages an LLM as a zero-shot classifier to derive categorical distributions for each bias dimension in a pair of transcript and its summary. The bias is then quantified using two metrics: Fidelity Gap (the JS Divergence between distributions) and Coverage (the percentage of source labels omitted). Using BlindSpot, we conducted an empirical study with 2500 real call transcripts and their summaries generated by 20 LLMs of varying scales and families (e.g., GPT, Llama, Claude). Our analysis reveals that biases are systemic and present across all evaluated models, regardless of size or family.
- Abstract（参考訳）: 抽象的な要約はコンタクトセンターの中核的なアプリケーションであり、Large Language Models (LLMs) は毎日数百万のコールトランスクリプトを生成する。
明らかな品質にもかかわらず、LLMが書面の特定の側面に体系的に過小評価されているか、過小評価されているかは不明確であり、生成された要約にバイアスが生じる可能性がある。
以前の研究は社会的偏見と位置的偏見を調査してきたが、コンタクトセンターの運営に関係する特定の形態の偏見は未解明のままである。
このギャップに対処するために、我々はBlindSpotを紹介した。BlindSpotは15の運用バイアス次元(例えば、分散性、話者、トピック)の分類に基づいて構築され、これらのバイアスの同定と定量化を目的としている。
BlindSpot は LLM をゼロショット分類器として利用し、一対の転写文とその要約における各バイアス次元のカテゴリー分布を導出する。
バイアスは、Fidelity Gap(ディストリビューション間のJS分散)とCoverage(ソースラベルのパーセンテージを省略)の2つのメトリクスを使って定量化されます。
BlindSpotを用いて2500の実呼書き起こしと20のLLM(例えば、GPT、Llama、Claude)で生成された要約文を用いて実験を行った。
分析の結果、バイアスは、サイズや家族に関わらず、すべての評価モデルにまたがって体系的であり、存在することが明らかとなった。
関連論文リスト
- Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。
要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
論文 参考訳（メタデータ） (2026-02-07T19:39:28Z) - Person-Centric Annotations of LAION-400M: Auditing Bias and Its Transfer to Models [81.45743826739054]
大きな障壁は、LAION-400MのようなWebスケールデータセットにおける人口統計アノテーションの欠如である。
2億7600万以上のバウンディングボックスや、性別や人種/民族ラベルの認識、キャプションの自動生成など、完全なデータセットのための人中心アノテーションを作成します。
それらを用いて、黒人や中東と見なされる男性や個人と犯罪に関連する負のコンテンツとの不均等な結びつきなど、人口不均衡や有害な関連を明らかにする。
論文 参考訳（メタデータ） (2025-10-04T07:51:59Z) - No LLM is Free From Bias: A Comprehensive Study of Bias Evaluation in Large Language Models [0.9620910657090186]
大規模言語モデル(LLM)は、異なる自然言語理解と生成タスクの性能を高めている。
我々は,中小LLMの集合を用いてベンチマークを統一的に評価する。
バイアス検出タスクをバイアスの異なる側面で行うための5つのプロンプト手法を提案する。
その結果, 選択したLLMは, Phi-3.5Bモデルが最も偏りが少ないため, いずれか一方あるいは他方の偏りに悩まされることが示唆された。
論文 参考訳（メタデータ） (2025-03-15T03:58:14Z) - Implicit Bias in LLMs: A Survey [2.07180164747172]
本稿では,大規模言語モデルにおける暗黙バイアスに関する既存の文献を包括的にレビューする。
まず、心理学における暗黙の偏見に関連する重要な概念、理論、方法を紹介する。
検出方法は,単語関連,タスク指向テキスト生成,意思決定の3つの主要なアプローチに分類する。
論文 参考訳（メタデータ） (2025-03-04T16:49:37Z) - Unmasking Conversational Bias in AI Multiagent Systems [1.0705399532413618]
生成モデルを含むマルチエージェントシステムで生じる可能性のあるバイアスは、未研究のままである。
本稿では,対話型大規模言語モデルのマルチエージェントシステムにおけるバイアスの定量化を目的としたフレームワークを提案する。
エコーチャンバー実験で観測されたバイアスは、現在最先端のバイアス検出法で検出されていない。
論文 参考訳（メタデータ） (2025-01-24T09:10:02Z) - How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。
その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
論文 参考訳（メタデータ） (2024-11-28T16:20:25Z) - With a Grain of SALT: Are LLMs Fair Across Social Dimensions? [3.5001789247699535]
本稿では,ジェンダー,宗教,人種にまたがるオープンソースのLarge Language Models(LLM)におけるバイアスの系統的分析について述べる。
私たちはSALTデータセットを使用して,General Debate, positioned Debate, Career Advice, Problem Solving, CV Generationという,5つの異なるバイアストリガを組み込んでいます。
以上の結果から, モデル間で一貫した分極が明らかとなり, 組織的に好意的あるいは好ましくない治療を受ける集団が存在する。
論文 参考訳（メタデータ） (2024-10-16T12:22:47Z) - Promoting Equality in Large Language Models: Identifying and Mitigating the Implicit Bias based on Bayesian Theory [29.201402717025335]
大規模言語モデル(LLM)は、必然的にバイアスのある情報を含む広範なテキストコーパスで訓練される。
我々は、暗黙のバイアス問題を正式に定義し、ベイズ理論に基づくバイアス除去のための革新的な枠組みを開発した。
論文 参考訳（メタデータ） (2024-08-20T07:40:12Z) - VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
我々は、LVLM(Large Vision-Language Models)におけるバイアスを評価するベンチマークであるVLBiasBenchを紹介する。
VLBiasBenchは、年齢、障害ステータス、性別、国籍、身体的外観、人種、宗教、職業、社会経済ステータスを含む9つの異なる社会バイアスのカテゴリを含むデータセットと、人種x性別と人種x社会経済ステータスの2つの交叉バイアスのカテゴリを含む。
15のオープンソースモデルと2つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルに存在するバイアスに関する新たな洞察を得る。
論文 参考訳（メタデータ） (2024-06-20T10:56:59Z) - Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。
本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。
観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文 参考訳（メタデータ） (2023-11-15T00:02:25Z) - How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study [59.13867562744973]
この研究は、オフ・オブ・ディストリビューション(OOD)シナリオにおけるLMの能力を体系的に評価する。
このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。
具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
論文 参考訳（メタデータ） (2023-09-15T11:15:47Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳（メタデータ） (2023-09-02T00:32:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。