論文の概要: Evaluating LLM Adaptation to Sociodemographic Factors: User Profile vs. Dialogue History
- arxiv url: http://arxiv.org/abs/2505.21362v1
- Date: Tue, 27 May 2025 15:52:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-28 17:05:58.775742
- Title: Evaluating LLM Adaptation to Sociodemographic Factors: User Profile vs. Dialogue History
- Title（参考訳）: ソシオドモグラフィー因子に対するLDM適応性の評価:ユーザプロファイルと対話履歴
- Authors: Qishuai Zhong, Zongmin Li, Siqi Fan, Aixin Sun,
- Abstract要約: 本稿では,マルチターン対話履歴を通じて,ユーザのプロファイルから属性が明示的に導入された場合,あるいは暗黙的に,大規模言語モデルの適応を評価するためのフレームワークを提案する。
以上の結果から,ほとんどのモデルでは,人口変動,特に年齢や教育水準に応じて表現値が調整されるが,一貫性は異なることが示唆された。
より強力な推論能力を持つモデルは、ロバストな社会デミノグラフィー適応における推論の重要性を示す。
- 参考スコア（独自算出の注目度）: 33.47267548932745
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Effective engagement by large language models (LLMs) requires adapting responses to users' sociodemographic characteristics, such as age, occupation, and education level. While many real-world applications leverage dialogue history for contextualization, existing evaluations of LLMs' behavioral adaptation often focus on single-turn prompts. In this paper, we propose a framework to evaluate LLM adaptation when attributes are introduced either (1) explicitly via user profiles in the prompt or (2) implicitly through multi-turn dialogue history. We assess the consistency of model behavior across these modalities. Using a multi-agent pipeline, we construct a synthetic dataset pairing dialogue histories with distinct user profiles and employ questions from the Value Survey Module (VSM 2013) (Hofstede and Hofstede, 2016) to probe value expression. Our findings indicate that most models adjust their expressed values in response to demographic changes, particularly in age and education level, but consistency varies. Models with stronger reasoning capabilities demonstrate greater alignment, indicating the importance of reasoning in robust sociodemographic adaptation.
- Abstract（参考訳）: 大規模言語モデル(LLM)による効果的なエンゲージメントは、年齢、職業、教育レベルといったユーザの社会デマグラフィー特性に適応する必要がある。
多くの現実世界のアプリケーションは文脈化に対話履歴を利用するが、既存のLCMの行動適応の評価はシングルターンプロンプトに重点を置いていることが多い。
本稿では,(1)プロンプト内のユーザプロファイルを明示的に経由するか,あるいは(2)マルチターン対話履歴を暗黙的に使用した場合のLCM適応を評価する枠組みを提案する。
これらのモダリティ間のモデル行動の整合性を評価する。
マルチエージェントパイプラインを用いて、異なるユーザプロファイルを持つ合成データセットペアリング対話履歴を構築し、バリューサーベイモジュール (VSM 2013) (Hofstede and Hofstede, 2016) からの質問を用いて、値表現を探索する。
以上の結果から,ほとんどのモデルでは,人口変動,特に年齢や教育水準に応じて表現値が調整されるが,一貫性は異なることが示唆された。
推論能力の強いモデルでは、ソシオデマトグラフィー適応における推論の重要性が示される。
関連論文リスト
- A Personalized Conversational Benchmark: Towards Simulating Personalized Conversations [112.81207927088117]
PersonaConvBenchは、大規模言語モデル(LLM)とのマルチターン会話におけるパーソナライズされた推論と生成を評価するためのベンチマークである。
我々は,複数の商用およびオープンソース LLM を統一的なプロンプト設定でベンチマークし,パーソナライズされた履歴を組み込むことで大幅な性能向上が得られることを観察した。
論文 参考訳（メタデータ） (2025-05-20T09:13:22Z) - Say It Another Way: Auditing LLMs with a User-Grounded Automated Paraphrasing Framework [9.162876771766513]
本稿では,言語構造とユーザ人口統計に基づく,制御された現実的なプロンプトフレーズを生成するフレームワークであるAUGMENTを紹介する。
AUGMENTは、セマンティック、スタイリスティック、命令追従の基準を組み合わせることで、パラフレーズの品質を保証する。
この結果から,大規模言語モデルにおいて,より代表的で構造化されたアプローチの必要性が浮き彫りになった。
論文 参考訳（メタデータ） (2025-05-06T14:17:30Z) - Beyond Demographics: Fine-tuning Large Language Models to Predict Individuals' Subjective Text Perceptions [33.76973308687867]
モデルにより,学習時の社会デマログラフィーの促進効果が向上することを示す。
このパフォーマンス向上は主に、ソシオデマトグラフィーパターンよりも、アノテータ固有の振る舞いを学ぶモデルが原因である。
全ての課題において,本研究の結果から,ソシオデマトグラフィーとアノテーションの関連性はほとんど学習されていないことが示唆された。
論文 参考訳（メタデータ） (2025-02-28T09:53:42Z) - Should We Fine-Tune or RAG? Evaluating Different Techniques to Adapt LLMs for Dialogue [1.8652965834931452]
本研究では,人間と機械の対話における応答生成作業におけるLarge Language Models (LLMs) の限界について検討する。
我々は,異なる対話型に適用する場合に,異なるLLM適応手法を広範囲に分析する。
論文 参考訳（メタデータ） (2024-06-10T15:52:49Z) - On the steerability of large language models toward data-driven personas [98.9138902560793]
大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。
本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T19:01:13Z) - Sensitivity, Performance, Robustness: Deconstructing the Effect of
Sociodemographic Prompting [64.80538055623842]
社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。
ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
論文 参考訳（メタデータ） (2023-09-13T15:42:06Z) - Dialogue History Matters! Personalized Response Selectionin Multi-turn
Retrieval-based Chatbots [62.295373408415365]
本稿では,コンテキスト応答マッチングのためのパーソナライズドハイブリッドマッチングネットワーク(phmn)を提案する。
1) ユーザ固有の対話履歴からパーソナライズされた発話行動を付加的なマッチング情報として抽出する。
ユーザ識別による2つの大規模データセット,すなわちパーソナライズされた対話 Corpus Ubuntu (P-Ubuntu) とパーソナライズされたWeiboデータセット (P-Weibo) のモデルを評価する。
論文 参考訳（メタデータ） (2021-03-17T09:42:11Z) - Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。
提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
論文 参考訳（メタデータ） (2020-05-01T20:01:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。