論文の概要: Towards Measuring and Modeling "Culture" in LLMs: A Survey
- arxiv url: http://arxiv.org/abs/2403.15412v2
- Date: Fri, 12 Apr 2024 16:09:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-15 17:13:45.608578
- Title: Towards Measuring and Modeling "Culture" in LLMs: A Survey
- Title（参考訳）: LLMにおける「培養」の測定とモデル化に向けて
- Authors: Muhammad Farid Adilazuarda, Sagnik Mukherjee, Pradhyumna Lavania, Siddhant Singh, Ashutosh Dwivedi, Alham Fikri Aji, Jacki O'Neill, Ashutosh Modi, Monojit Choudhury,
- Abstract要約: いずれの研究でも、複雑で多面的な概念である「文化」は定義されていない。
これらの側面を文化のプロキシと呼び、人口統計学、意味学、言語-文化的相互作用の3つの側面にまたがってそれらを整理する。
- 参考スコア（独自算出の注目度）: 21.148754125437076
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We present a survey of 39 recent papers that aim to study cultural representation and inclusion in large language models. We observe that none of the studies define "culture," which is a complex, multifaceted concept; instead, they probe the models on some specially designed datasets which represent certain aspects of "culture." We call these aspects the proxies of cultures, and organize them across three dimensions of demographic, semantic and linguistic-cultural interaction proxies. We also categorize the probing methods employed. Our analysis indicates that only certain aspects of "culture," such as values and objectives, have been studied, leaving several other interesting and important facets, especially the multitude of semantic domains (Thompson et al., 2020) and aboutness (Hershcovich et al., 2022), unexplored. Two other crucial gaps are the lack of robustness and situatedness of the current methods. Based on these observations, we provide several recommendations for a holistic and practically useful research agenda for furthering cultural inclusion in LLMs and LLM-based applications.
- Abstract（参考訳）: 本稿では,大規模言語モデルにおける文化的表現と包摂性の研究を目的とした39の最近の論文について調査する。
いずれの研究も、複雑で多面的な概念である「文化」を定義しておらず、代わりに「文化」の特定の側面を表す特別に設計されたデータセット上でモデルを探索している。
これらの側面を文化のプロキシと呼び、人口統計学、意味学、言語-文化的相互作用の3つの側面にまたがってそれらを整理する。
また、使用する探索方法も分類する。
分析の結果,特にセマンティックドメインの多様さ (Thompson et al , 2020) と,非探索的な話題 (Hershcovich et al , 2022) が残されている。
その他の2つの重要なギャップは、現在の方法の堅牢性と位置性の欠如である。
これらの観測に基づいて, LLM と LLM に基づく応用における文化的包摂性を高めるための総合的かつ実用的な研究課題について, いくつか提言する。
関連論文リスト
- Survey of Cultural Awareness in Language Models: Text and Beyond [39.77033652289063]
大規模言語モデル(LLM)を様々なアプリケーションに大規模に展開するには、LCMはインクリビティを確保するために、ユーザに文化的に敏感である必要がある。
文化は心理学や人類学で広く研究され、近年、LLMをより文化的に包括的にする研究が急増している。
論文 参考訳（メタデータ） (2024-10-30T16:37:50Z) - How Well Do LLMs Identify Cultural Unity in Diversity? [12.982460687543952]
本稿では,概念の文化的統一性を理解するために,デコーダのみの大規模言語モデル(LLM)を評価するためのベンチマークデータセットを提案する。
CUNITは、10か国で285の伝統的な文化的概念に基づいて構築された1,425の評価例で構成されている。
高い関連性を持つ異文化のコンセプトペアを識別するLLMの能力を評価するために,コントラストマッチングタスクを設計する。
論文 参考訳（メタデータ） (2024-08-09T14:45:22Z) - Extrinsic Evaluation of Cultural Competence in Large Language Models [53.626808086522985]
本稿では,2つのテキスト生成タスクにおける文化能力の評価に焦点をあてる。
我々は,文化,特に国籍の明示的なキューが,そのプロンプトに乱入している場合のモデル出力を評価する。
異なる国におけるアウトプットのテキスト類似性とこれらの国の文化的価値との間には弱い相関関係がある。
論文 参考訳（メタデータ） (2024-06-17T14:03:27Z) - CIVICS: Building a Dataset for Examining Culturally-Informed Values in Large Language Models [59.22460740026037]
大規模言語モデル(LLM)の社会的・文化的変動を評価するためのデータセット「CIVICS:文化インフォームド・バリュース・インクルーシブ・コーパス・フォー・ソシエティ・インパクト」
我々は、LGBTQIの権利、社会福祉、移民、障害権利、代理など、特定の社会的に敏感なトピックに対処する、手作りの多言語プロンプトのデータセットを作成します。
論文 参考訳（メタデータ） (2024-05-22T20:19:10Z) - Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
大規模言語モデル(LLM)は、かなりの常識的理解を示している。
本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
論文 参考訳（メタデータ） (2024-05-07T20:28:34Z) - What You Use is What You Get: Unforced Errors in Studying Cultural Aspects in Agile Software Development [2.9418191027447906]
文化的特徴の影響を調べることは、多面的な文化概念のために困難である。
文化的・社会的側面は、実際にの使用が成功する上で非常に重要である。
論文 参考訳（メタデータ） (2024-04-25T20:08:37Z) - CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting [73.94059188347582]
110か国・地域での3つのSOTAモデルの文化認識を,文化条件付き世代を通して8つの文化関連トピックについて明らかにした。
文化条件付き世代は、デフォルトの文化と区別される余分な文化を区別する言語的な「マーカー」から成り立っていることが判明した。
論文 参考訳（メタデータ） (2024-04-16T00:50:43Z) - Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
本稿では,多文化知識獲得のための新しいアプローチを提案する。
本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。
私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
論文 参考訳（メタデータ） (2024-02-14T18:16:54Z) - Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in
Large Language Models [89.94270049334479]
本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。
LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
論文 参考訳（メタデータ） (2023-10-19T05:38:23Z) - Cultural Alignment in Large Language Models: An Explanatory Analysis Based on Hofstede's Cultural Dimensions [10.415002561977655]
本研究は,ホフステデの文化次元の枠組みを用いて文化的アライメントを定量化する文化アライメントテスト (Hoftede's CAT) を提案する。
我々は、米国、中国、アラブ諸国といった地域の文化的側面に対して、大規模言語モデル(LLM)を定量的に評価する。
その結果, LLMの文化的アライメントを定量化し, 説明的文化的次元におけるLCMの差異を明らかにすることができた。
論文 参考訳（メタデータ） (2023-08-25T14:50:13Z) - Probing Pre-Trained Language Models for Cross-Cultural Differences in
Values [42.45033681054207]
我々は、事前学習言語モデルにどの文化にわたってどの価値が埋め込まれているかを調査するためにプローブを導入する。
PTLMは文化全体における価値の差異を捉えているが、確立した価値調査と弱く一致しているだけである。
論文 参考訳（メタデータ） (2022-03-25T15:45:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。