論文の概要: Bias Beneath the Tone: Empirical Characterisation of Tone Bias in LLM-Driven UX Systems
- arxiv url: http://arxiv.org/abs/2512.19950v1
- Date: Tue, 23 Dec 2025 00:41:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-24 19:17:49.697595
- Title: Bias Beneath the Tone: Empirical Characterisation of Tone Bias in LLM-Driven UX Systems
- Title(参考訳): Bias Beneath the Tone: LLM駆動UXシステムにおけるトーンバイアスの実証的特徴化
- Authors: Heet Bodara, Md Masum Mushfiq, Isma Farah Siddiqui,
- Abstract要約: 大規模言語モデルは、デジタルパーソナルアシスタントのような会話システムでますます使われている。
大規模言語モデルの隠れた行動特性としてのトーンバイアスについて検討する。
私たちは、トーンバイアスが体系的で、測定可能であり、公正で信頼できる会話型AIの設計に関係していることを示します。
- 参考スコア(独自算出の注目度): 1.43293957516771
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models are increasingly used in conversational systems such as digital personal assistants, shaping how people interact with technology through language. While their responses often sound fluent and natural, they can also carry subtle tone biases such as sounding overly polite, cheerful, or cautious even when neutrality is expected. These tendencies can influence how users perceive trust, empathy, and fairness in dialogue. In this study, we explore tone bias as a hidden behavioral trait of large language models. The novelty of this research lies in the integration of controllable large language model based dialogue synthesis with tone classification models, enabling robust and ethical emotion recognition in personal assistant interactions. We created two synthetic dialogue datasets, one generated from neutral prompts and another explicitly guided to produce positive or negative tones. Surprisingly, even the neutral set showed consistent tonal skew, suggesting that bias may stem from the model's underlying conversational style. Using weak supervision through a pretrained DistilBERT model, we labeled tones and trained several classifiers to detect these patterns. Ensemble models achieved macro F1 scores up to 0.92, showing that tone bias is systematic, measurable, and relevant to designing fair and trustworthy conversational AI.
- Abstract(参考訳): 大規模言語モデルは、人々が言語を介してテクノロジーと対話する方法を形成するデジタルパーソナルアシスタントのような会話システムで、ますます使われている。
彼らの反応は、しばしば流動的で自然に聞こえるが、中立性が期待されても、過度に礼儀正しく、快活で、慎重に聞こえるような微妙なトーンバイアスも持てる。
これらの傾向は、ユーザーが対話における信頼、共感、公平さをどのように知覚するかに影響を与える可能性がある。
本研究では,大規模言語モデルの隠れ行動特性としてのトーンバイアスについて検討する。
この研究の新規性は、制御可能な大言語モデルに基づく対話合成とトーン分類モデルの統合であり、パーソナルアシスタントインタラクションにおける堅牢で倫理的な感情認識を可能にする。
我々は2つの合成対話データセットを作成し、1つは中立的なプロンプトから生成し、もう1つは正あるいは負のトーンを生成するために明示的にガイドした。
驚くべきことに、中立セットでさえ一貫した音節スキューを示しており、バイアスはモデルの基礎となる会話スタイルに由来する可能性があることを示唆している。
事前学習した DistilBERT モデルを用いて,音色をラベル付けし,これらのパターンを検出するためにいくつかの分類器を訓練した。
アンサンブルモデルはマクロF1のスコアを最大0.92まで達成し、トーンバイアスは体系的で測定可能で、公正で信頼できる会話型AIの設計に関係していることを示した。
関連論文リスト
- Evaluating Bias in Spoken Dialogue LLMs for Real-World Decisions and Recommendations [18.706521321659995]
年齢、性別、アクセントなどのパラ言語的特徴は、モデル出力に影響を与える可能性がある。
オープンソースモデルは年齢や性別に敏感であり、推奨タスクはグループ間の格差を増幅する傾向がある。
この研究は、エンドツーエンドの音声対話モデルにおけるバイアスに関する最初の体系的な研究を提供する。
論文 参考訳(メタデータ) (2025-09-27T16:21:22Z) - Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。
MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。
LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
論文 参考訳(メタデータ) (2025-06-12T08:47:40Z) - CO-VADA: A Confidence-Oriented Voice Augmentation Debiasing Approach for Fair Speech Emotion Recognition [49.27067541740956]
モデルアーキテクチャの変更や人口統計情報への依存を伴わずにバイアスを緩和する信頼性指向音声強調脱バイアス手法であるCO-VADAを提案する。
CO-VADAはトレーニングデータに存在するバイアスパターンを反映したトレーニングサンプルを特定し、無関係な属性を変更してサンプルを生成するために音声変換を適用する。
我々のフレームワークは様々なSERモデルや音声変換ツールと互換性があり、SERシステムの公平性を改善するためのスケーラブルで実用的なソリューションとなっている。
論文 参考訳(メタデータ) (2025-06-06T13:25:56Z) - Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。
多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。
これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文 参考訳(メタデータ) (2024-08-14T16:55:06Z) - Listen and Speak Fairly: A Study on Semantic Gender Bias in Speech Integrated Large Language Models [38.64792118903994]
SILLMのジェンダーバイアスを4つの意味的タスクで評価した。
分析の結果, バイアスレベルは言語に依存し, 評価方法によって異なることが明らかとなった。
論文 参考訳(メタデータ) (2024-07-09T15:35:43Z) - Are Personalized Stochastic Parrots More Dangerous? Evaluating Persona
Biases in Dialogue Systems [103.416202777731]
我々は、対話モデルが採用するペルソナに付随する有害な行動の感度であると定義する「ペルソナバイアス」について検討する。
我々は,人格バイアスを有害な表現と有害な合意のバイアスに分類し,攻撃性,有害継続性,関連性,ステレオタイプ合意,および有害合意の5つの側面において,人格バイアスを測定する包括的な評価枠組みを確立する。
論文 参考訳(メタデータ) (2023-10-08T21:03:18Z) - Exposing Bias in Online Communities through Large-Scale Language Models [3.04585143845864]
この研究は、言語モデルにおけるバイアスの欠陥を使用して、6つの異なるオンラインコミュニティのバイアスを調査します。
得られたモデルのバイアスは、異なる人口層を持つモデルに促し、これらの世代における感情と毒性の値を比較することで評価される。
この作業は、トレーニングデータからバイアスがどの程度容易に吸収されるかを確認するだけでなく、さまざまなデータセットやコミュニティのバイアスを特定し比較するためのスケーラブルな方法も提示する。
論文 参考訳(メタデータ) (2023-06-04T08:09:26Z) - RedditBias: A Real-World Resource for Bias Evaluation and Debiasing of
Conversational Language Models [37.98671828283487]
テキスト表現モデルは、様々な社会的バイアスを示す傾向がある。
最近の研究は、事前訓練された言語モデルにおけるバイアスの測定と緩和に重点を置いている。
RedditBiasは、Redditによる人間の会話をベースとした初めての会話データセットだ。
論文 参考訳(メタデータ) (2021-06-07T11:22:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。