論文の概要: To Generate or Discriminate? Methodological Considerations for Measuring Cultural Alignment in LLMs

• arxiv url: http://arxiv.org/abs/2601.02858v1
• Date: Tue, 06 Jan 2026 09:42:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.874735
• Title: To Generate or Discriminate? Methodological Considerations for Measuring Cultural Alignment in LLMs
• Title（参考訳）: LLMにおける文化的アライメント測定の方法論的考察
• Authors: Saurabh Kumar Pandey, Sougata Saha, Monojit Choudhury,
• Abstract要約: ソシオデデデモグラフィープロンプト(SDP)は、大規模言語モデルの応答をステレオタイプで偏りがあることを示す。 これを解決するために、逆社会デマトグラフィープロンプト(ISDP)を用いて、LCMに実際のユーザ行動とシミュレーションされたユーザの行動とを区別し、予測するよう促す。 その結果、SDPの示唆に反して、モデルはシミュレーションされたモデルよりも実際の振る舞いの方が優れていることが示された。
• 参考スコア（独自算出の注目度）: 19.492952437281005
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Socio-demographic prompting (SDP) - prompting Large Language Models (LLMs) using demographic proxies to generate culturally aligned outputs - often shows LLM responses as stereotypical and biased. While effective in assessing LLMs' cultural competency, SDP is prone to confounding factors such as prompt sensitivity, decoding parameters, and the inherent difficulty of generation over discrimination tasks due to larger output spaces. These factors complicate interpretation, making it difficult to determine if the poor performance is due to bias or the task design. To address this, we use inverse socio-demographic prompting (ISDP), where we prompt LLMs to discriminate and predict the demographic proxy from actual and simulated user behavior from different users. We use the Goodreads-CSI dataset (Saha et al., 2025), which captures difficulty in understanding English book reviews for users from India, Mexico, and the USA, and test four LLMs: Aya-23, Gemma-2, GPT-4o, and LLaMA-3.1 with ISDP. Results show that models perform better with actual behaviors than simulated ones, contrary to what SDP suggests. However, performance with both behavior types diminishes and becomes nearly equal at the individual level, indicating limits to personalization.
• Abstract（参考訳）: SDP (Socio-demographic prompting) - 階層的プロキシを使って文化的に整列した出力を生成する言語モデル (LLM) 。 LLMの文化的能力を評価するのに有効であるが、SDPは、迅速な感度、復号化パラメータ、より大きな出力空間による識別タスクよりも生成の難しさなどの要因を解決しがちである。 これらの要因は解釈を複雑にし、パフォーマンスの悪さは偏りかタスク設計によるものかを決定するのが難しくなる。 これを解決するために、逆社会デマトグラフィープロンプト(ISDP)を用い、LLMに対して、実際のユーザー行動とシミュレーションされたユーザー行動とを区別し、予測するよう促す。 私たちはGoodreads-CSIデータセット(Saha et al , 2025)を使用し、インド、メキシコ、米国からのユーザーの英語の本レビューを理解するのが困難であることを捉え、ISDPでAya-23、Gemma-2、GPT-4o、LLaMA-3.1の4つのLSMをテストする。 その結果、SDPの示唆に反して、モデルはシミュレーションされたモデルよりも実際の振る舞いの方が優れていることが示された。 しかし、両方の行動タイプによるパフォーマンスは低下し、個人レベルではほぼ同じになり、パーソナライゼーションの限界が示される。

関連論文リスト

• Visualizing token importance for black-box language models [48.747801442240565]
  我々は,ブラックボックスの大規模言語モデル(LLM)を監査して,本運用環境にデプロイした場合に確実に動作させるという課題を考察する。 本稿では,各入力トークンに対する言語モデルの出力の感度を評価するために,分布ベース感性分析(DBSA)を提案する。
  論文  参考訳（メタデータ） (2025-12-12T14:01:43Z)
• Linear socio-demographic representations emerge in Large Language Models from indirect cues [0.0]
  LLMは、名前や職業といった間接的な手がかりから推測される人間の会話相手の社会デマログラフィー特性を符号化する。 本研究では,LCMが活性化空間内でのユーザ人口分布の線形表現を開発し,ステレオタイプに関連付けられた属性を解釈可能な幾何学的方向に沿って符号化することを示す。 我々の研究は、バイアスベンチマークテストに合格したモデルがいまだに暗黙のバイアスを保ち、スケールで適用した場合の公平性に影響を及ぼす可能性があることを強調した。
  論文  参考訳（メタデータ） (2025-12-10T20:36:36Z)
• An Analysis of Large Language Models for Simulating User Responses in Surveys [8.614942349812429]
  ユーザ意見をシミュレートするためにLarge Language Modelsを使用することが注目されている。 LLMは、支配的な視点に対する偏見を示すことで知られており、多様な人口統計学的、文化的背景からユーザーを表現する能力に対する懸念を提起している。
  論文  参考訳（メタデータ） (2025-12-07T15:03:09Z)
• The Prompt Makes the Person(a): A Systematic Evaluation of Sociodemographic Persona Prompting for Large Language Models [7.819021910077221]
  異なるペルソナのプロンプト戦略が大規模言語モデル(LLM)に与える影響について検討する。 人口統計学的プライミングと役割採用戦略の選択が、その描写に大きく影響していることが判明した。 具体的には、インタビュースタイルのフォーマットと名前ベースのプライミングのプロンプトが、ステレオタイピングの削減に役立ちます。
  論文  参考訳（メタデータ） (2025-07-21T21:23:29Z)
• Revisiting LLM Value Probing Strategies: Are They Robust and Expressive? [81.49470136653665]
  広範に利用されている3つの探索戦略における値表現の頑健さと表現性を評価する。 人口統計学的文脈は自由テキスト生成にはほとんど影響を与えず、モデルの値は値に基づく行動の好みと弱い相関しか示さない。
  論文  参考訳（メタデータ） (2025-07-17T18:56:41Z)
• Reading Between the Prompts: How Stereotypes Shape LLM's Implicit Personalization [13.034294029448338]
  LLM(Generative Large Language Models)は、会話における微妙な手がかりからユーザの人口統計情報を推測する。 この結果から,LLMのユーザアイデンティティの表現方法に対する透明性の向上とコントロールの必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-05-22T09:48:51Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• Aligning Language Models with Demonstrated Feedback [58.834937450242975]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Large language models that replace human participants can harmfully misportray and flatten identity groups [36.36009232890876]
  我々は、現在のLLMのトレーニング方法には2つの固有の制限があることを示します。 我々は、LCMが人口集団の表現を誤解し、フラットにする可能性がある理由を分析的に論じる。 また、アイデンティティープロンプトがアイデンティティーを不可欠なものにする方法について、第3の制限についても論じる。
  論文  参考訳（メタデータ） (2024-02-02T21:21:06Z)
• Sociodemographic Prompting is Not Yet an Effective Approach for Simulating Subjective Judgments with LLMs [13.744746481528711]
  大規模言語モデル(LLM)は、様々な文脈で人間の反応をシミュレートするために広く使われている。 我々は,2つの主観的判断課題(丁寧さと攻撃性)において,人口差を理解する能力について,9つの人気のLCMを評価した。 ゼロショット設定では、両方のタスクのほとんどのモデルの予測は、アジアやブラックの参加者よりもホワイトの参加者のラベルとより密接に一致している。
  論文  参考訳（メタデータ） (2023-11-16T10:02:24Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。