論文の概要: Personalization Without Stereotyping: Do Speech LLMs Know When to Turn a Deaf Ear?
- arxiv url: http://arxiv.org/abs/2610.13550v1
- Date: Fri, 09 Oct 2026 13:06:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.587303
- Title: Personalization Without Stereotyping: Do Speech LLMs Know When to Turn a Deaf Ear?
- Title(参考訳): ステレオタイピングのないパーソナライゼーション:LLMは耳を耳にするタイミングを知っているか?
- Abstract要約: 近年の8つのLLMを評価し,人口統計学的な手がかりをよく認識しているにもかかわらず,その多くが適切なパーソナライズには至らなかったことを発見した。
明示的な人口統計ラベルは、パーソナライズを改善するだけでなく、テキストバックボーンにすでに存在しているステレオタイプ関連を増幅する。
- 参考スコア(独自算出の注目度): 11.78312689552407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent speech LLMs can leverage rich paralinguistic cues, enabling more complex and personalized interactions. However, little work investigates how this sensitivity can lead to stereotyping, and existing evaluations largely measure demographic disparities without distinguishing beneficial personalization from stereotypical behavior. We introduce BASIS-Bench, a benchmark designed to disentangle these two aspects through three axes: (1) demographic robustness, measuring disparities in content-based tasks across speakers and demographic classification capabilities; (2) stereotypical bias, measuring whether perceived demographic cues trigger unprompted stereotypical behavior; and (3) personalization, measuring whether models can tailor responses to demographic characteristics when explicitly requested. We evaluate eight recent speech LLMs and find that, despite often recognizing demographic cues, most fail to translate them into appropriate personalization. Explicit demographic labels improve personalization but also amplify stereotypical associations already present in the textual backbones. These findings highlight the need to train speech LLMs not only to perceive demographic cues, but to learn when they should shape their responses.
- Abstract(参考訳): 近年のLLMは、より複雑でパーソナライズされた対話を可能にするために、豊富なパラ言語的手がかりを利用することができる。
しかし、この感度がステレオタイピングにどう影響するかを研究する研究はほとんどなく、既存の評価では、有益なパーソナライゼーションとステレオタイプ的行動とを区別することなく、主に人口格差を測定している。
BASIS-Bench は,(1) 階層的頑健性,(1) 話者間のコンテンツベースタスクの相違度,および階層的分類能力,(2) ステレオタイプ的バイアス,(2) 認識された階層的手がかりが未発達のステレオタイプ的行動を引き起こすかどうか,(3) パーソナライゼーション,(3) モデルが明示的に要求されたときの人口的特徴に対する応答を調整できるかどうか,の3つの軸を通じて,これら2つの側面を解き放つように設計されたベンチマークである。
近年の8つのLLMを評価し,人口統計学的な手がかりをよく認識しているにもかかわらず,その多くが適切なパーソナライズには至らなかったことを発見した。
明示的な人口統計ラベルは、パーソナライズを改善するだけでなく、テキストバックボーンにすでに存在しているステレオタイプ関連を増幅する。
これらの知見は、人口統計学的手がかりを知覚するだけでなく、いつその反応を形作るべきかを学ぶために、LLMを訓練する必要性を強調している。
関連論文リスト
- The Role of Implicit and Explicit Demographic Signals in Large Language Model-based Student Assessment [24.32015609344653]
大規模言語モデルは現在、学生の評価において一般的なものであるが、学生の人口層が彼らの利用にどのように影響するかはほとんど分かっていない。
我々は,1)明示的な人口統計の影響,2)人口統計の詳細を直接言及する要因,および2)人口統計信号として会話履歴を使用する暗黙的な効果をテストするために制御されたプロンプトを設定した。
明示的なケースと暗黙的なケースの両方で、モデルは人口統計の手がかりを拾い上げ、スコア、フィードバック、そして回答を変えることができる。
論文 参考訳(メタデータ) (2026-09-15T11:07:26Z) - Sociodemographic Biases in Educational Counselling by Large Language Models [61.30199414932204]
本研究では,Large Language Models(LLMs)における社会デマトグラフィーバイアスについて検討する。
多様な状況下で生徒を記述した900のヴィグネットに関する質問に答える6つのLDMからの回答を評価した。
論文 参考訳(メタデータ) (2026-04-03T14:08:22Z) - Simulating Identity, Propagating Bias: Abstraction and Stereotypes in LLM-Generated Text [8.988787218035414]
ソシオデミノグラフィーのカテゴリーとステレオタイプ的・非ステレオタイプ的属性をリンクする短いテキストを生成する際に,ペルソナ・プロンプトが言語的抽象化のレベルを異にするかどうかを検討する。
本研究は, ソシオデミノグラフィーグループを代表するペルソナの生態に対する批判と, ステレオタイプの普及リスクへの懸念を提起するものである。
論文 参考訳(メタデータ) (2025-09-10T10:49:21Z) - SpeechIQ: Speech Intelligence Quotient Across Cognitive Levels in Voice Understanding Large Language Models [76.07833875692722]
音声に基づくインテリジェンス・クオシエント(SIQ)は、人間の認知にインスパイアされた評価パイプラインの新たな形態であり、大きな言語モデルを理解するためのものである。
私たちのフレームワークは、認知原則を音声指向のベンチマークでブリッジする、第一種知能検査を表現しています。
論文 参考訳(メタデータ) (2025-07-25T15:12:06Z) - Which Demographics do LLMs Default to During Annotation? [9.190535758368567]
データアノテーションに大規模言語モデル(LLM)を用いることで、2つの研究方向が開発された。
我々は,ヒトアノテータLLMのどの属性が本質的に模倣されているかを評価する。
性別、人種、年齢に関連する顕著な影響を、人口動態の促進において観察する。
論文 参考訳(メタデータ) (2024-10-11T14:02:42Z) - Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。
追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
論文 参考訳(メタデータ) (2024-10-03T16:43:17Z) - Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。
多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。
これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文 参考訳(メタデータ) (2024-08-14T16:55:06Z) - White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。
LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。
LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
論文 参考訳(メタデータ) (2024-04-16T12:27:54Z) - Sociodemographic Prompting is Not Yet an Effective Approach for Simulating Subjective Judgments with LLMs [13.744746481528711]
大規模言語モデル(LLM)は、様々な文脈で人間の反応をシミュレートするために広く使われている。
我々は,2つの主観的判断課題(丁寧さと攻撃性)において,人口差を理解する能力について,9つの人気のLCMを評価した。
ゼロショット設定では、両方のタスクのほとんどのモデルの予測は、アジアやブラックの参加者よりもホワイトの参加者のラベルとより密接に一致している。
論文 参考訳(メタデータ) (2023-11-16T10:02:24Z) - Probing Explicit and Implicit Gender Bias through LLM Conditional Text
Generation [64.79319733514266]
大規模言語モデル(LLM)はバイアスと有害な応答を生成する。
本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
論文 参考訳(メタデータ) (2023-11-01T05:31:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。