論文の概要: To Generate or Discriminate? Methodological Considerations for Measuring Cultural Alignment in LLMs

• arxiv url: http://arxiv.org/abs/2601.02858v1
• Date: Tue, 06 Jan 2026 09:42:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.874735
• Title: To Generate or Discriminate? Methodological Considerations for Measuring Cultural Alignment in LLMs
• Title（参考訳）: LLMにおける文化的アライメント測定の方法論的考察
• Authors: Saurabh Kumar Pandey, Sougata Saha, Monojit Choudhury,
• Abstract要約: ソシオデデデモグラフィープロンプト(SDP)は、大規模言語モデルの応答をステレオタイプで偏りがあることを示す。 これを解決するために、逆社会デマトグラフィープロンプト(ISDP)を用いて、LCMに実際のユーザ行動とシミュレーションされたユーザの行動とを区別し、予測するよう促す。 その結果、SDPの示唆に反して、モデルはシミュレーションされたモデルよりも実際の振る舞いの方が優れていることが示された。
• 参考スコア（独自算出の注目度）: 19.492952437281005
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Socio-demographic prompting (SDP) - prompting Large Language Models (LLMs) using demographic proxies to generate culturally aligned outputs - often shows LLM responses as stereotypical and biased. While effective in assessing LLMs' cultural competency, SDP is prone to confounding factors such as prompt sensitivity, decoding parameters, and the inherent difficulty of generation over discrimination tasks due to larger output spaces. These factors complicate interpretation, making it difficult to determine if the poor performance is due to bias or the task design. To address this, we use inverse socio-demographic prompting (ISDP), where we prompt LLMs to discriminate and predict the demographic proxy from actual and simulated user behavior from different users. We use the Goodreads-CSI dataset (Saha et al., 2025), which captures difficulty in understanding English book reviews for users from India, Mexico, and the USA, and test four LLMs: Aya-23, Gemma-2, GPT-4o, and LLaMA-3.1 with ISDP. Results show that models perform better with actual behaviors than simulated ones, contrary to what SDP suggests. However, performance with both behavior types diminishes and becomes nearly equal at the individual level, indicating limits to personalization.
• Abstract（参考訳）: SDP (Socio-demographic prompting) - 階層的プロキシを使って文化的に整列した出力を生成する言語モデル (LLM) 。 LLMの文化的能力を評価するのに有効であるが、SDPは、迅速な感度、復号化パラメータ、より大きな出力空間による識別タスクよりも生成の難しさなどの要因を解決しがちである。 これらの要因は解釈を複雑にし、パフォーマンスの悪さは偏りかタスク設計によるものかを決定するのが難しくなる。 これを解決するために、逆社会デマトグラフィープロンプト(ISDP)を用い、LLMに対して、実際のユーザー行動とシミュレーションされたユーザー行動とを区別し、予測するよう促す。 私たちはGoodreads-CSIデータセット(Saha et al , 2025)を使用し、インド、メキシコ、米国からのユーザーの英語の本レビューを理解するのが困難であることを捉え、ISDPでAya-23、Gemma-2、GPT-4o、LLaMA-3.1の4つのLSMをテストする。 その結果、SDPの示唆に反して、モデルはシミュレーションされたモデルよりも実際の振る舞いの方が優れていることが示された。 しかし、両方の行動タイプによるパフォーマンスは低下し、個人レベルではほぼ同じになり、パーソナライゼーションの限界が示される。

関連論文リスト

• The Prompt Makes the Person(a): A Systematic Evaluation of Sociodemographic Persona Prompting for Large Language Models [7.819021910077221]
  異なるペルソナのプロンプト戦略が大規模言語モデル(LLM)に与える影響について検討する。 人口統計学的プライミングと役割採用戦略の選択が、その描写に大きく影響していることが判明した。 具体的には、インタビュースタイルのフォーマットと名前ベースのプライミングのプロンプトが、ステレオタイピングの削減に役立ちます。
  論文  参考訳（メタデータ） (2025-07-21T21:23:29Z)
• Reading Between the Prompts: How Stereotypes Shape LLM's Implicit Personalization [13.034294029448338]
  LLM(Generative Large Language Models)は、会話における微妙な手がかりからユーザの人口統計情報を推測する。 この結果から,LLMのユーザアイデンティティの表現方法に対する透明性の向上とコントロールの必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-05-22T09:48:51Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• Large language models that replace human participants can harmfully misportray and flatten identity groups [36.36009232890876]
  我々は、現在のLLMのトレーニング方法には2つの固有の制限があることを示します。 我々は、LCMが人口集団の表現を誤解し、フラットにする可能性がある理由を分析的に論じる。 また、アイデンティティープロンプトがアイデンティティーを不可欠なものにする方法について、第3の制限についても論じる。
  論文  参考訳（メタデータ） (2024-02-02T21:21:06Z)
• Sociodemographic Prompting is Not Yet an Effective Approach for Simulating Subjective Judgments with LLMs [13.744746481528711]
  大規模言語モデル(LLM)は、様々な文脈で人間の反応をシミュレートするために広く使われている。 我々は,2つの主観的判断課題(丁寧さと攻撃性)において,人口差を理解する能力について,9つの人気のLCMを評価した。 ゼロショット設定では、両方のタスクのほとんどのモデルの予測は、アジアやブラックの参加者よりもホワイトの参加者のラベルとより密接に一致している。
  論文  参考訳（メタデータ） (2023-11-16T10:02:24Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。