論文の概要: CultureLLM: Incorporating Cultural Differences into Large Language
Models
- arxiv url: http://arxiv.org/abs/2402.10946v1
- Date: Fri, 9 Feb 2024 04:02:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-25 17:06:44.778854
- Title: CultureLLM: Incorporating Cultural Differences into Large Language
Models
- Title(参考訳): culturellm: 大きな言語モデルに文化的違いを組み込む
- Authors: Cheng Li, Mengzhou Chen, Jindong Wang, Sunayana Sitaram, Xing Xie
- Abstract要約: CultureLLMは、大きな言語モデルに文化的差異を組み込むためのコスト効率の良いソリューションである。
我々の人間による研究は、生成されたサンプルが元のサンプルと意味的に等価であることを示している。
- 参考スコア(独自算出の注目度): 39.33251733412784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are reported to be partial to certain cultures
owing to the training data dominance from the English corpora. Since
multilingual cultural data are often expensive to collect, existing efforts
handle this by prompt engineering or culture-specific pre-training. However,
they might overlook the knowledge deficiency of low-resource culture and
require extensive computing resources. In this paper, we propose CultureLLM, a
cost-effective solution to incorporate cultural differences into LLMs.
CultureLLM adopts World Value Survey (WVS) as seed data and generates
semantically equivalent training data via the proposed semantic data
augmentation. Using only 50 seed samples from WVS with augmented data, we
fine-tune culture-specific LLMs and one unified model (CultureLLM-One) for 9
cultures covering rich and low-resource languages. Extensive experiments on 60
culture-related datasets demonstrate that CultureLLM significantly outperforms
various counterparts such as GPT-3.5 (by 8.1%) and Gemini Pro (by 9.5%) with
comparable performance to GPT-4 or even better. Our human study shows that the
generated samples are semantically equivalent to the original samples,
providing an effective solution for LLMs augmentation.
- Abstract(参考訳): 大規模言語モデル(LLM)は、英語コーパスのトレーニングデータ支配により、特定の文化の一部となることが報告されている。
多言語文化データは収集に費用がかかることが多いため、既存の取り組みはエンジニアリングや文化固有の事前学習によってこれを処理している。
しかし、低リソース文化の知識不足を見逃し、広範なコンピューティングリソースを必要とするかもしれない。
本稿では,LLMに文化的差異を組み込むためのコスト効率のよいCultureLLMを提案する。
CultureLLMは、シードデータとしてWorld Value Survey (WVS)を採用し、提案したセマンティックデータ拡張を通じて意味的に等価なトレーニングデータを生成する。
WVSの50個のシードサンプルと拡張データを用いて、リッチで低リソースな言語をカバーする9つの文化に対して、文化固有のLLMと統一モデル(CultureLLM-One)を微調整する。
60の文化関連データセットに対する大規模な実験では、CultureLLMはGPT-3.5 (8.1%) やGemini Pro (9.5%) など、GPT-4に匹敵するパフォーマンスで、GPT-4よりも大幅に優れていた。
我々の人間による研究は、生成したサンプルが元のサンプルと意味的に等価であることを示し、LLMの増強に有効な解決策を提供する。
関連論文リスト
- CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting [68.37589899302161]
110か国・地域での3つのSOTAモデルの文化認識を,文化条件付き世代を通して8つの文化関連トピックについて明らかにした。
文化条件付き世代は、デフォルトの文化と区別される余分な文化を区別する言語的な「マーカー」から成り立っていることが判明した。
論文 参考訳(メタデータ) (2024-04-16T00:50:43Z) - CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge [69.82940934994333]
我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。
我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。
CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
論文 参考訳(メタデータ) (2024-04-10T00:25:09Z) - Investigating Cultural Alignment of Large Language Models [11.730822193746826]
LLM(Large Language Models)は,異なる文化で採用されている多様な知識を真にカプセル化していることを示す。
社会学的調査をシミュレートし、実際の調査参加者のモデル応答を参考として、文化的アライメントの定量化を行う。
本稿では,人類学的推論を活用し,文化的アライメントを高める新しい手法である人類学的プロンプティングを紹介する。
論文 参考訳(メタデータ) (2024-02-20T18:47:28Z) - Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
本稿では,多文化知識獲得のための新しいアプローチを提案する。
本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。
私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
論文 参考訳(メタデータ) (2024-02-14T18:16:54Z) - CDEval: A Benchmark for Measuring the Cultural Dimensions of Large
Language Models [43.98598363461303]
CDEvalは、大規模言語モデルの文化的側面を評価するためのベンチマークである。
GPT-4の自動生成と人間による検証の両方を取り入れて構築され、7つの領域にわたる6つの文化的次元をカバーする。
論文 参考訳(メタデータ) (2023-11-28T02:01:25Z) - Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in
Large Language Models [89.94270049334479]
本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。
LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
論文 参考訳(メタデータ) (2023-10-19T05:38:23Z) - Cultural Alignment in Large Language Models: An Explanatory Analysis Based on Hofstede's Cultural Dimensions [10.415002561977655]
本研究は,ホフステデの文化次元の枠組みを用いて文化的アライメントを定量化する文化アライメントテスト (Hoftede's CAT) を提案する。
我々は、米国、中国、アラブ諸国といった地域の文化的側面に対して、大規模言語モデル(LLM)を定量的に評価する。
その結果, LLMの文化的アライメントを定量化し, 説明的文化的次元におけるLCMの差異を明らかにすることができた。
論文 参考訳(メタデータ) (2023-08-25T14:50:13Z) - Benchmarking LLM-based Machine Translation on Cultural Awareness [53.83912076814508]
文化的内容の翻訳は、効果的な異文化間コミュニケーションに不可欠である。
インコンテキスト学習の最近の進歩は、機械翻訳タスクにおける大規模言語モデル(LLM)のガイドに軽量なプロンプトを利用する。
我々は、文化的に関連する並列コーパスを構築するために、新しいデータキュレーションパイプラインを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:56:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。