論文の概要: Randomness, Not Representation: The Unreliability of Evaluating Cultural Alignment in LLMs

• arxiv url: http://arxiv.org/abs/2503.08688v2
• Date: Tue, 08 Apr 2025 21:11:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:04:28.877501
• Title: Randomness, Not Representation: The Unreliability of Evaluating Cultural Alignment in LLMs
• Title（参考訳）: LLMにおける文化的アライメント評価の不確実性
• Authors: Ariba Khan, Stephen Casper, Dylan Hadfield-Menell,
• Abstract要約: 我々は,現在の調査に基づく評価手法の背景にある3つの仮定を特定し,検証する。 提示形式間の不安定性,評価された文化次元と保持された文化的次元間の不整合性,即時操舵時の不整合性などについて検討した。
• 参考スコア（独自算出の注目度）: 7.802103248428407
• License:
• Abstract: Research on the 'cultural alignment' of Large Language Models (LLMs) has emerged in response to growing interest in understanding representation across diverse stakeholders. Current approaches to evaluating cultural alignment through survey-based assessments that borrow from social science methodologies often overlook systematic robustness checks. Here, we identify and test three assumptions behind current survey-based evaluation methods: (1) Stability: that cultural alignment is a property of LLMs rather than an artifact of evaluation design, (2) Extrapolability: that alignment with one culture on a narrow set of issues predicts alignment with that culture on others, and (3) Steerability: that LLMs can be reliably prompted to represent specific cultural perspectives. Through experiments examining both explicit and implicit preferences of leading LLMs, we find a high level of instability across presentation formats, incoherence between evaluated versus held-out cultural dimensions, and erratic behavior under prompt steering. We show that these inconsistencies can cause the results of an evaluation to be very sensitive to minor variations in methodology. Finally, we demonstrate in a case study on evaluation design that narrow experiments and a selective assessment of evidence can be used to paint an incomplete picture of LLMs' cultural alignment properties. Overall, these results highlight significant limitations of current survey-based approaches to evaluating the cultural alignment of LLMs and highlight a need for systematic robustness checks and red-teaming for evaluation results. Data and code are available at https://huggingface.co/datasets/akhan02/cultural-dimension-cover-letters and https://github.com/ariba-k/llm-cultural-alignment-evaluation, respectively.
• Abstract（参考訳）: 大規模言語モデル(LLM)の「文化的アライメント」に関する研究は、多様な利害関係者間での表現の理解への関心が高まっている。 社会科学方法論から借用した調査に基づく評価を通じて、文化的アライメントを評価するための現在のアプローチは、しばしば体系的な堅牢性チェックを見落としている。 ここでは, 現状の調査に基づく評価手法の背景にある3つの仮定を同定し, 検証する。(1) 安定性: 文化的アライメントは評価設計の成果ではなく, LLMの特性である,(2) 外挿可能性: ある文化とのアライメントは, その文化とのアライメントを予測し, (3) ステアビリティ: 特定の文化的視点を表現するために, LLMを確実に呼び出すことができる,。 先行するLCMの明示的・暗黙的な嗜好を調査した結果,提示形式間の不安定度,評価された文化次元と保持された文化的次元間の不整合性,即時操舵時の不整合性,などが確認された。 これらの矛盾は、評価の結果が方法論の微妙なバリエーションに非常に敏感であることを示す。 最後に, LLMの文化的アライメント特性の不完全な図面を描くために, 実験の狭さと証拠の選択的評価が有効であることを示す。 これらの結果は,LLMの文化的アライメントを評価する上での現在の調査に基づくアプローチの重大な限界を浮き彫りにした上で,体系的ロバスト性チェックと評価結果の再抽出の必要性を強調した。 データとコードは、https://huggingface.co/datasets/akhan02/ cultural-dimension-cover-lettersとhttps://github.com/ariba-k/llm- cultural-alignment-evaluationで利用可能である。

関連論文リスト

• Break the Checkbox: Challenging Closed-Style Evaluations of Cultural Alignment in LLMs [17.673012459377375]
  大規模言語モデル(LLM)における文化的アライメントを評価するために、クローズドスタイルのマルチチョイスサーベイに依存する研究が多数ある。 本研究では、この制約された評価パラダイムに挑戦し、より現実的で制約のないアプローチを探求する。
  論文  参考訳（メタデータ） (2025-02-12T01:04:13Z)
• Rethinking AI Cultural Alignment [1.8434042562191815]
  人間の文化的価値は、特定のAIシステムのコンテキスト内で理解されなければならないことを示す。 文化的アライメントは双方向のプロセスとして再編成されるべきである、と私たちは主張する。
  論文  参考訳（メタデータ） (2025-01-13T23:42:37Z)
• Value Compass Leaderboard: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
  大きな言語モデル(LLM)は目覚ましいブレークスルーを達成し、その価値を人間と一致させることが必須になっている。 既存の評価は、バイアスや毒性といった安全性のリスクに焦点を絞っている。 既存のベンチマークはデータ汚染の傾向があります。 個人や文化にまたがる人的価値の多元的性質は、LLM値アライメントの測定において無視される。
  論文  参考訳（メタデータ） (2025-01-13T05:53:56Z)
• Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation [71.59208664920452]
  多言語データセットの文化的バイアスは、グローバルベンチマークとしての有効性に重大な課題をもたらす。 MMLUの進歩は西洋中心の概念の学習に大きく依存しており、文化に敏感な知識を必要とする質問の28%がそうである。 改良されたMMLUであるGlobal MMLUをリリースし,42言語を対象に評価を行った。
  論文  参考訳（メタデータ） (2024-12-04T13:27:09Z)
• LLMs as mirrors of societal moral standards: reflection of cultural divergence and agreement across ethical topics [0.5852077003870417]
  大規模言語モデル(LLM)は、そのパフォーマンス能力の最近の進歩により、様々な領域においてますます重要になっている。 本研究は,LLMが道徳的視点において,異文化間の差異や類似性を正確に反映しているかどうかを考察する。
  論文  参考訳（メタデータ） (2024-12-01T20:39:42Z)
• LLM-GLOBE: A Benchmark Evaluating the Cultural Values Embedded in LLM Output [8.435090588116973]
  LLMの文化的価値システムを評価するためのLLM-GLOBEベンチマークを提案する。 次に、このベンチマークを利用して、中国とアメリカのLLMの値を比較します。 提案手法は,オープンエンドコンテンツの評価を自動化する新しい"LLMs-as-a-Jury"パイプラインを含む。
  論文  参考訳（メタデータ） (2024-11-09T01:38:55Z)
• Navigating the Cultural Kaleidoscope: A Hitchhiker's Guide to Sensitivity in Large Language Models [4.771099208181585]
  LLMはますますグローバルなアプリケーションにデプロイされ、さまざまなバックグラウンドを持つユーザが尊敬され、理解されることが保証される。 文化的な害は、これらのモデルが特定の文化的規範と一致しないときに起こり、文化的な価値観の誤った表現や違反をもたらす。 潜在的な文化的不感を露呈するシナリオを通じて、異なる文化的文脈におけるモデルアウトプットを評価するために作成された文化的調和テストデータセットと、多様なアノテータからのフィードバックに基づいた微調整による文化的感受性の回復を目的とした、文化的に整合した選好データセットである。
  論文  参考訳（メタデータ） (2024-10-15T18:13:10Z)
• Extrinsic Evaluation of Cultural Competence in Large Language Models [53.626808086522985]
  本稿では,2つのテキスト生成タスクにおける文化能力の評価に焦点をあてる。 我々は,文化,特に国籍の明示的なキューが,そのプロンプトに乱入している場合のモデル出力を評価する。 異なる国におけるアウトプットのテキスト類似性とこれらの国の文化的価値との間には弱い相関関係がある。
  論文  参考訳（メタデータ） (2024-06-17T14:03:27Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)
• CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge [69.82940934994333]
  我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。 我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。 CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
  論文  参考訳（メタデータ） (2024-04-10T00:25:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。