論文の概要: Topics as Proxies for Sociodemographics: How Conversational Context Affects LLM Answers

• arxiv url: http://arxiv.org/abs/2606.02776v2
• Date: Wed, 03 Jun 2026 08:40:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 17:40:41.610499
• Title: Topics as Proxies for Sociodemographics: How Conversational Context Affects LLM Answers
• Title（参考訳）: ソシオドモグラフィーのプロキシとしてのトピックス:会話コンテキストがLLM回答に与える影響
• Authors: Vera Neplenbroek, Gabriele Sarti, Arianna Bisazza, Raquel Fernández,
• Abstract要約: 本研究では,大きな言語モデル(LLM)が,単一の会話履歴からユーザ社会デマトグラフィーを推測するのに苦労していることを示す。 会話の話題は、会話の文脈内でLLM生成のアドバイスを最も予測することを発見した。
• 参考スコア（独自算出の注目度）: 15.52302216152217
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When large language models (LLMs) are used in high-stakes scenarios, such as legal, medical and financial advice, even a single conversation history is enough to drive differences in outcomes between users. Prior work has demonstrated that this results in outcome disparities between sociodemographic groups, with some groups receiving more advantageous outcomes than others. In this work, we demonstrate that LLMs actually struggle to infer user sociodemographics from a single conversation history and that although there are disparities between sociodemographic groups, they are minimal in magnitude. To investigate what the main driver of these disparities is, we compare user sociodemographics to a range of (psycho)linguistic features of conversations, including conversation topic, emotions, and readability. We find that conversation topics are most predictive of LLM-generated advice within a conversational context, which, to some extent, function as proxies for sociodemographic groups and often affect advice in unpredictable ways. This is cause for concern and highlights the need for future research to better understand and, if needed, mitigate the effect of conversational context on LLM outputs in high-stakes scenarios.
• Abstract（参考訳）: 大きな言語モデル(LLM)が、法的、医療的、財政的なアドバイスなどの高い評価シナリオで使用される場合、単一の会話履歴でさえ、ユーザ間の結果の違いを引き起こすのに十分である。 先行研究は、この結果が社会デミノグラフィーグループ間の結果の相違をもたらすことを証明しており、一部のグループは他のグループよりも有利な結果を得る。 本研究では,LLMが1つの会話履歴からユーザ社会デマトグラフィーを推測するのに実際に苦労していることと,社会デマトグラフィーグループ間には相違があるものの,規模は最小であることを示す。 これらの格差の主な要因は,会話の話題,感情,可読性など,会話の(心理的)言語的特徴とユーザ・ソシオデミクスを比較した。 会話の話題は、会話の文脈におけるLLM生成アドバイスの最も予測的であり、ある程度は、社会デマログラフグループのプロキシとして機能し、予測不可能な方法でアドバイスに影響を与えることが多い。 これは懸念の理由であり、もし必要であれば、ハイテイクシナリオにおけるLLM出力に対する会話コンテキストの影響をよりよく理解し緩和する将来の研究の必要性を強調している。

関連論文リスト

• The Prompt Makes the Person(a): A Systematic Evaluation of Sociodemographic Persona Prompting for Large Language Models [7.819021910077221]
  異なるペルソナのプロンプト戦略が大規模言語モデル(LLM)に与える影響について検討する。 人口統計学的プライミングと役割採用戦略の選択が、その描写に大きく影響していることが判明した。 具体的には、インタビュースタイルのフォーマットと名前ベースのプライミングのプロンプトが、ステレオタイピングの削減に役立ちます。
  論文  参考訳（メタデータ） (2025-07-21T21:23:29Z)
• How large language models judge and influence human cooperation [82.07571393247476]
  我々は、最先端の言語モデルが協調行動をどのように判断するかを評価する。 我々は、善良な相手との協力を評価する際、顕著な合意を守ります。 モデル間の差異が協調の頻度に大きく影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2025-06-30T09:14:42Z)
• Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks [52.098988739649705]
  本研究では, LLMのバイアスと限界について, 応答生成器, 判定器, 討論器の3つの役割について検討した。 我々は、様々な先行的曖昧なシナリオを含む例をキュレートすることで、合意なしのベンチマークを開発する。 以上の結果から, LLMは, オープンエンドの回答を生成する際に, 曖昧な評価を行うことができる一方で, 審査員や討論者として採用する場合は, 合意なしのトピックにスタンスを取る傾向が示唆された。
  論文  参考訳（メタデータ） (2025-05-28T01:31:54Z)
• Multimodal Conversation Structure Understanding [12.29827265137757]
  大きな言語モデルでは、きめ細かい会話構造を理解する能力は未解明のままである。 我々は,話者と回答関係のための4,398の注釈付きデータセット,5,755人のアドレナリ,3,142人のサイド参加者を提示する。 音声-視覚的LLMと視覚言語モデルの評価をデータセット上で行い, 実験結果から, マルチモーダル対話構造理解は依然として困難であることが示唆された。
  論文  参考訳（メタデータ） (2025-05-23T06:41:54Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Beware of Words: Evaluating the Lexical Diversity of Conversational LLMs using ChatGPT as Case Study [3.0059120458540383]
  対話型大言語モデル(LLM)が生成するテキストの語彙的リッチ性の評価と,それがモデルパラメータにどのように依存するかを検討する。 その結果、語彙豊かさがChatGPTのバージョンと、そのパラメータのいくつか、例えば存在ペナルティやモデルに割り当てられた役割にどのように依存しているかが示される。
  論文  参考訳（メタデータ） (2024-02-11T13:41:17Z)
• Generative Echo Chamber? Effects of LLM-Powered Search Systems on Diverse Information Seeking [49.02867094432589]
  大規模言語モデル(LLM)を利用した対話型検索システムは、すでに数億人の人々が利用している。 評価バイアスのあるLCMが, ユーザの視点を補強したり, 異議を申し立てたりすることで, 効果が変化するか, どのように変化するかを検討する。
  論文  参考訳（メタデータ） (2024-02-08T18:14:33Z)
• Sociodemographic Prompting is Not Yet an Effective Approach for Simulating Subjective Judgments with LLMs [13.744746481528711]
  大規模言語モデル(LLM)は、様々な文脈で人間の反応をシミュレートするために広く使われている。 我々は,2つの主観的判断課題(丁寧さと攻撃性)において,人口差を理解する能力について,9つの人気のLCMを評価した。 ゼロショット設定では、両方のタスクのほとんどのモデルの予測は、アジアやブラックの参加者よりもホワイトの参加者のラベルとより密接に一致している。
  論文  参考訳（メタデータ） (2023-11-16T10:02:24Z)
• Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting [64.80538055623842]
  社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。 ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
  論文  参考訳（メタデータ） (2023-09-13T15:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。