Fugu-MT 論文翻訳(概要): Measurement Validity in LLM Cultural Alignment

論文の概要: Measurement Validity in LLM Cultural Alignment

arxiv url: http://arxiv.org/abs/2608.29266v1
Date: Sat, 29 Aug 2026 13:39:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:30.90665
Title: Measurement Validity in LLM Cultural Alignment
Title（参考訳）: LLM文化アライメントにおける測定妥当性
Abstract要約: 研究者たちは、人間の文化的価値の代案として、調査回答をますます扱います。価値を持つ質問に対するモデルの回答は、文化的な信号として解釈されるかもしれないが、サンプリングノイズも持ち、質問のフレーミングに非常に敏感である。ノイズ・ツー・シグナリティー(NSR)を用いて、あるモデルの文化的位置がノイズと区別可能であるかどうかを検証する。
参考スコア（独自算出の注目度）: 0.8880611506199766
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Researchers increasingly treat LLM survey responses as a proxy for human cultural values. This includes projecting model outputs onto instruments like the Inglehart-Welzel Cultural Map and drawing conclusions about which cultures a model resembles. While a model's answer to a value-laden questions may be interpreted as a cultural signal, it also carries sampling noise and, can be quite sensitive to question framing. In this paper, we separate survey responses, sampling noise and question framing for multiple LLMs. We decompose response variance from these models into variation across random seeds, prompt rewordings. We employ noise-to-signal ratio (NSR) to test whether a model's apparent cultural position is distinguishable from noise. When applied across a dozen models from four geographic origins, calibrated against 88 Integrated Values Survey countries, the answer is often no. NSR exceeds 1.0 on 49 of 117 valid model-question pairs (42%), reaching 5.56 in the worst case. Two models even refuse to answer sufficient number of survey questions outright. Our results corroborate previous findings that LLMs cluster toward Western, English-speaking cultural positions. However, what does not hold up in this study is the precision with which anyone can currently interpret a specific model's coordinates: prompt tone alone can shift a model by 2.4 map units, comparable to the distance between actual countries in the Inglehart-Welzel Cultural Map. These findings suggest that cultural attribution from LLM survey responses requires establishing the reliability of the underlying measurements before interpreting model coordinates as evidence of cultural representation.
Abstract（参考訳）: 研究者はLLM調査の回答を人的文化的価値の指標として扱うようになっている。これには、イングルハート・ヴェルツェル文化地図のような楽器にモデル出力を投影することや、モデルがどの文化に類似しているかを結論付けることが含まれる。価値を持つ質問に対するモデルの回答は、文化的な信号として解釈されるかもしれないが、サンプリングノイズも持ち、質問のフレーミングに非常に敏感である。本稿では,複数のLLMに対する調査応答,サンプリングノイズ,質問フレーミングを分離する。これらのモデルから反応のばらつきをランダムな種々に分解し、即座に言い換える。ノイズ・ツー・シグナリティー(NSR)を用いて、あるモデルの文化的位置がノイズと区別可能であるかどうかを検証する。 4つの地理的起源から十数種類のモデルに適用され、88の総合価値調査国に対して校正された場合、答えはしばしばノーである。 NSRは117組のうち49組(42%)で1.0を超え、最悪のケースでは5.56に達した。 2つのモデルは、十分な数の調査質問に答えることさえ拒否する。 LLMが西欧、英語圏の文化的な位置に向かって集まっているという過去の知見を裏付けるものである。しかし、本研究では、現在誰でも特定のモデルの座標を解釈できる精度が示されていない。プロンプトトーンだけで、イングルハート・ヴェルツェル文化地図の実際の国間距離に匹敵する2.4の地図単位にモデルをシフトすることができる。これらの結果から, LLM調査回答からの文化的帰属は, モデル座標を文化的表現の証拠として解釈する前に, 基礎となる測定の信頼性を確立する必要があることが示唆された。

関連論文リスト

Not What, But How: A Framework for Auditing LLM Responses across Positioning, Generalization, Anthromorphism, and Maxims [54.31707479192195]
大規模言語モデル(LLM)は、主観的、情報探索的な疑問に答えるためにますます使われている。既存の主観的文化的クエリの評価は、応答のフレーム化を無視して、事実の正しさに重点を置いている。 FRANZ(FRAmework for respoNse characteriZation)を導入し、4次元のLLM応答のコミュニケーション監査を行う。
論文参考訳（メタデータ） (2026-06-01T17:01:31Z)
CultureForest: Understanding and Evaluating Cultural Norm Grounded Reasoning in LLMs [59.09971492475217]
TextitCultural Norm Grounded ReasoningのベンチマークであるCultureForestを紹介する。 CultureForestは8つのドメインで5,378のサンプルと53の国/リージョンで構成されている。大規模な実験では、トップ層モデルでさえ、オープンな設定で大幅に劣化していることが明らかになった。
論文参考訳（メタデータ） (2026-06-01T08:25:12Z)
Can Persona-Prompted LLMs Emulate Subgroup Values? An Empirical Analysis of Generalisability and Fairness in Cultural Alignment [75.88231994139132]
GPT-4.1のような最先端モデルでさえ、モーダル選好を予測する精度は57.4%に過ぎなかった。モデルでは、若者、男性、中国人、キリスト教のペルソナをよりうまくエミュレートする。
論文参考訳（メタデータ） (2026-04-14T15:06:13Z)
The fragility of "cultural tendencies" in LLMs [23.77480663886995]
報告された「文化的傾向」は安定した特徴ではなく、特定のモデルやタスクデザインの脆弱な成果物であると主張する。以上の結果から,プロンプト言語はアウトプットに最小限の影響を及ぼし,これらのモデルが基礎的文化的信念を符号化しているというLSZの主張に異議を唱えた。
論文参考訳（メタデータ） (2025-10-07T12:37:06Z)
Exploring Cultural Variations in Moral Judgments with Large Language Models [0.5356944479760104]
対数確率に基づく道徳的正当性スコアを用いて、各モデルのアウトプットを、幅広い倫理的トピックをカバーする調査データと相関付けする。以上の結果から, 早期モデルや小型モデルでは, 人的判断とほぼゼロに近い相関や負の相関が生じることが示唆された。高度な命令調整モデル(GPT-4oやGPT-4o-miniを含む)は、かなり高い正の相関を達成し、現実世界の道徳的態度をよりよく反映している。
論文参考訳（メタデータ） (2025-06-14T10:16:48Z)
From Surveys to Narratives: Rethinking Cultural Value Adaptation in LLMs [62.9861554207279]
LLM(Large Language Models)における文化的価値の適応は大きな課題である。これまでの作業は主に、World Values Survey (WVS)データを使用して、LLMをさまざまな文化的価値と整合させる。我々は,文化価値適応のためのWVSベースのトレーニングについて検討し,調査データのみに頼って文化規範を実践し,事実知識に干渉することを発見した。
論文参考訳（メタデータ） (2025-05-22T09:00:01Z)
Sometimes the Model doth Preach: Quantifying Religious Bias in Open LLMs through Demographic Analysis in Asian Nations [8.769839351949997]
大きな言語モデル(LLM)は、意見を生成し、バイアスを無意識に伝播することができる。本研究は,LLMが生み出す意見を定量的に分析する手法を提案する。 Llama や Mistral のような近代的でオープンな LLM を世界各国で実施した調査で評価した。
論文参考訳（メタデータ） (2025-03-10T16:32:03Z)
CulturalBench: A Robust, Diverse, and Challenging Cultural Benchmark by Human-AI CulturalTeaming [75.82306181299153]
カルチャーベンチ(CulturalBench)は、LMの文化的知識を評価するための1,696の人文・人文的な質問である。バングラデシュ、ジンバブエ、ペルーなど45の地域をカバーしている。我々はHuman-AI Red-Teamingにインスパイアされた手法を用いてCulturalBenchを構築した。
論文参考訳（メタデータ） (2024-10-03T17:04:31Z)
Cultural Conditioning or Placebo? On the Effectiveness of Socio-Demographic Prompting [28.050634707996565]
文化に敏感で非敏感な手がかりを条件とした4つのLPMを探索する。 GPT-4を除く全てのモデルが、両方の種類のデータセットに対して、応答に有意なばらつきを示すことが観察された。この作品はまた、「プラセボ効果」からの反応の文化的条件を区別するための制御実験設計の再考を呼び掛けている。
論文参考訳（メタデータ） (2024-06-17T15:43:45Z)
Groundedness in Retrieval-augmented Long-form Generation: An Empirical Study [61.74571814707054]
検索した文書やモデルの事前学習データに生成されたすべての文が接地されているかどうかを評価する。 3つのデータセットと4つのモデルファミリーにまたがって、生成した文のかなりの部分が一貫してアングラウンド化されていることが明らかとなった。以上の結果から,より大きなモデルではアウトプットをより効果的に基礎づける傾向にあるものの,正解のかなりの部分が幻覚によって損なわれていることが示唆された。
論文参考訳（メタデータ） (2024-04-10T14:50:10Z)
Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in Large Language Models [89.94270049334479]
本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。 LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
論文参考訳（メタデータ） (2023-10-19T05:38:23Z)
Probing Pre-Trained Language Models for Cross-Cultural Differences in Values [39.978231166552455]
我々は、事前学習言語モデルにどの文化にわたってどの価値が埋め込まれているかを調査するためにプローブを導入する。 PTLMは文化全体における価値の差異を捉えているが、確立した価値調査と弱く一致しているだけである。
論文参考訳（メタデータ） (2022-03-25T15:45:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。