論文の概要: Randomness, Not Representation: The Unreliability of Evaluating Cultural Alignment in LLMs
- arxiv url: http://arxiv.org/abs/2503.08688v1
- Date: Tue, 11 Mar 2025 17:59:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-12 15:44:58.643144
- Title: Randomness, Not Representation: The Unreliability of Evaluating Cultural Alignment in LLMs
- Title（参考訳）: LLMにおける文化的アライメント評価の不確実性
- Authors: Ariba Khan, Stephen Casper, Dylan Hadfield-Menell,
- Abstract要約: 現在の評価手法の背景にある3つの仮定を特定し,検証する。
提示形式間の不安定性,評価された文化次元と保持された文化的次元間の不整合性,即時操舵時の不整合性などについて検討した。
- 参考スコア（独自算出の注目度）: 7.802103248428407
- License:
- Abstract: Research on the 'cultural alignment' of Large Language Models (LLMs) has emerged in response to growing interest in understanding representation across diverse stakeholders. Current approaches to evaluating cultural alignment borrow social science methodologies but often overlook systematic robustness checks. Here, we identify and test three assumptions behind current evaluation methods: (1) Stability: that cultural alignment is a property of LLMs rather than an artifact of evaluation design, (2) Extrapolability: that alignment with one culture on a narrow set of issues predicts alignment with that culture on others, and (3) Steerability: that LLMs can be reliably prompted to represent specific cultural perspectives. Through experiments examining both explicit and implicit preferences of leading LLMs, we find a high level of instability across presentation formats, incoherence between evaluated versus held-out cultural dimensions, and erratic behavior under prompt steering. We show that these inconsistencies can cause the results of an evaluation to be very sensitive to minor variations in methodology. Finally, we demonstrate in a case study on evaluation design that narrow experiments and a selective assessment of evidence can be used to paint an incomplete picture of LLMs' cultural alignment properties. Overall, these results highlight significant limitations of current approaches for evaluating the cultural alignment of LLMs.
- Abstract（参考訳）: 大規模言語モデル(LLM)の「文化的アライメント」に関する研究は、多様な利害関係者間での表現の理解への関心が高まっている。
文化的アライメントを評価するための現在のアプローチは、社会科学の方法論を借りるが、しばしば体系的な堅牢性チェックを見落としている。
ここでは,(1)文化的アライメントは評価設計の成果ではなく,LCMの特性である,(2)外挿可能性:特定の文化とのアライメントが他の文化とのアライメントを予測する,(3)ステアビリティ:特定の文化的視点を表現するために,LCMを確実に誘導できる,という3つの仮定を特定し,検証する。
先行するLCMの明示的・暗黙的な嗜好を調査した結果,提示形式間の不安定度,評価された文化次元と保持された文化的次元間の不整合度,即時操舵時の不整合性,などが確認された。
これらの矛盾は、評価の結果が方法論の微妙なバリエーションに非常に敏感であることを示す。
最後に, LLMの文化的アライメント特性の不完全な図面を描くために, 実験の狭さと証拠の選択的評価が有効であることを示す。
これらの結果は,LLMの文化的アライメントを評価するための現在のアプローチの重大な限界を浮き彫りにしている。
関連論文リスト
- Break the Checkbox: Challenging Closed-Style Evaluations of Cultural Alignment in LLMs [17.673012459377375]
大規模言語モデル(LLM)における文化的アライメントを評価するために、クローズドスタイルのマルチチョイスサーベイに依存する研究が多数ある。
本研究では、この制約された評価パラダイムに挑戦し、より現実的で制約のないアプローチを探求する。
論文 参考訳（メタデータ） (2025-02-12T01:04:13Z) - Rethinking AI Cultural Alignment [1.8434042562191815]
人間の文化的価値は、特定のAIシステムのコンテキスト内で理解されなければならないことを示す。
文化的アライメントは双方向のプロセスとして再編成されるべきである、と私たちは主張する。
論文 参考訳（メタデータ） (2025-01-13T23:42:37Z) - Value Compass Leaderboard: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
大きな言語モデル(LLM)は目覚ましいブレークスルーを達成し、その価値を人間と一致させることが必須になっている。
既存の評価は、バイアスや毒性といった安全性のリスクに焦点を絞っている。
既存のベンチマークはデータ汚染の傾向があります。
個人や文化にまたがる人的価値の多元的性質は、LLM値アライメントの測定において無視される。
論文 参考訳（メタデータ） (2025-01-13T05:53:56Z) - Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation [71.59208664920452]
多言語データセットの文化的バイアスは、グローバルベンチマークとしての有効性に重大な課題をもたらす。
MMLUの進歩は西洋中心の概念の学習に大きく依存しており、文化に敏感な知識を必要とする質問の28%がそうである。
改良されたMMLUであるGlobal MMLUをリリースし,42言語を対象に評価を行った。
論文 参考訳（メタデータ） (2024-12-04T13:27:09Z) - LLMs as mirrors of societal moral standards: reflection of cultural divergence and agreement across ethical topics [0.5852077003870417]
大規模言語モデル(LLM)は、そのパフォーマンス能力の最近の進歩により、様々な領域においてますます重要になっている。
本研究は,LLMが道徳的視点において,異文化間の差異や類似性を正確に反映しているかどうかを考察する。
論文 参考訳（メタデータ） (2024-12-01T20:39:42Z) - LLM-GLOBE: A Benchmark Evaluating the Cultural Values Embedded in LLM Output [8.435090588116973]
LLMの文化的価値システムを評価するためのLLM-GLOBEベンチマークを提案する。
次に、このベンチマークを利用して、中国とアメリカのLLMの値を比較します。
提案手法は,オープンエンドコンテンツの評価を自動化する新しい"LLMs-as-a-Jury"パイプラインを含む。
論文 参考訳（メタデータ） (2024-11-09T01:38:55Z) - Navigating the Cultural Kaleidoscope: A Hitchhiker's Guide to Sensitivity in Large Language Models [4.771099208181585]
LLMはますますグローバルなアプリケーションにデプロイされ、さまざまなバックグラウンドを持つユーザが尊敬され、理解されることが保証される。
文化的な害は、これらのモデルが特定の文化的規範と一致しないときに起こり、文化的な価値観の誤った表現や違反をもたらす。
潜在的な文化的不感を露呈するシナリオを通じて、異なる文化的文脈におけるモデルアウトプットを評価するために作成された文化的調和テストデータセットと、多様なアノテータからのフィードバックに基づいた微調整による文化的感受性の回復を目的とした、文化的に整合した選好データセットである。
論文 参考訳（メタデータ） (2024-10-15T18:13:10Z) - Extrinsic Evaluation of Cultural Competence in Large Language Models [53.626808086522985]
本稿では,2つのテキスト生成タスクにおける文化能力の評価に焦点をあてる。
我々は,文化,特に国籍の明示的なキューが,そのプロンプトに乱入している場合のモデル出力を評価する。
異なる国におけるアウトプットのテキスト類似性とこれらの国の文化的価値との間には弱い相関関係がある。
論文 参考訳（メタデータ） (2024-06-17T14:03:27Z) - DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。
これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。
本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
論文 参考訳（メタデータ） (2024-05-24T08:12:30Z) - Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
大規模言語モデル(LLM)は、かなりの常識的理解を示している。
本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
論文 参考訳（メタデータ） (2024-05-07T20:28:34Z) - CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge [69.82940934994333]
我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。
我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。
CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
論文 参考訳（メタデータ） (2024-04-10T00:25:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。