論文の概要: CultureLLM: Incorporating Cultural Differences into Large Language Models

• arxiv url: http://arxiv.org/abs/2402.10946v1
• Date: Fri, 9 Feb 2024 04:02:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-25 17:06:44.778854
• Title: CultureLLM: Incorporating Cultural Differences into Large Language Models
• Title（参考訳）: culturellm: 大きな言語モデルに文化的違いを組み込む
• Authors: Cheng Li, Mengzhou Chen, Jindong Wang, Sunayana Sitaram, Xing Xie
• Abstract要約: CultureLLMは、大きな言語モデルに文化的差異を組み込むためのコスト効率の良いソリューションである。 我々の人間による研究は、生成されたサンプルが元のサンプルと意味的に等価であることを示している。
• 参考スコア（独自算出の注目度）: 39.33251733412784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are reported to be partial to certain cultures owing to the training data dominance from the English corpora. Since multilingual cultural data are often expensive to collect, existing efforts handle this by prompt engineering or culture-specific pre-training. However, they might overlook the knowledge deficiency of low-resource culture and require extensive computing resources. In this paper, we propose CultureLLM, a cost-effective solution to incorporate cultural differences into LLMs. CultureLLM adopts World Value Survey (WVS) as seed data and generates semantically equivalent training data via the proposed semantic data augmentation. Using only 50 seed samples from WVS with augmented data, we fine-tune culture-specific LLMs and one unified model (CultureLLM-One) for 9 cultures covering rich and low-resource languages. Extensive experiments on 60 culture-related datasets demonstrate that CultureLLM significantly outperforms various counterparts such as GPT-3.5 (by 8.1%) and Gemini Pro (by 9.5%) with comparable performance to GPT-4 or even better. Our human study shows that the generated samples are semantically equivalent to the original samples, providing an effective solution for LLMs augmentation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、英語コーパスのトレーニングデータ支配により、特定の文化の一部となることが報告されている。 多言語文化データは収集に費用がかかることが多いため、既存の取り組みはエンジニアリングや文化固有の事前学習によってこれを処理している。 しかし、低リソース文化の知識不足を見逃し、広範なコンピューティングリソースを必要とするかもしれない。 本稿では,LLMに文化的差異を組み込むためのコスト効率のよいCultureLLMを提案する。 CultureLLMは、シードデータとしてWorld Value Survey (WVS)を採用し、提案したセマンティックデータ拡張を通じて意味的に等価なトレーニングデータを生成する。 WVSの50個のシードサンプルと拡張データを用いて、リッチで低リソースな言語をカバーする9つの文化に対して、文化固有のLLMと統一モデル(CultureLLM-One)を微調整する。 60の文化関連データセットに対する大規模な実験では、CultureLLMはGPT-3.5 (8.1%) やGemini Pro (9.5%) など、GPT-4に匹敵するパフォーマンスで、GPT-4よりも大幅に優れていた。 我々の人間による研究は、生成したサンプルが元のサンプルと意味的に等価であることを示し、LLMの増強に有効な解決策を提供する。

関連論文リスト

• Self-Pluralising Culture Alignment for Large Language Models [36.689491885394034]
  本稿では,大規模言語モデルと多言語文化との整合性を実現するフレームワークであるCultureSPAを提案する。 カルチャー・アウェア/アウェアアウトプットを比較することで、カルチャー関連インスタンスを検出し、収集することができる。 広範囲な実験により、CultureSPAは、一般の能力を損なうことなく、多様な文化へのLCMのアライメントを著しく改善することが示された。
  論文  参考訳（メタデータ） (2024-10-16T19:06:08Z)
• Self-Alignment: Improving Alignment of Cultural Values in LLMs via In-Context Learning [13.034603322224548]
  In-context Learning(ICL)とヒューマンサーベイデータを組み合わせた簡易で安価な手法を提案する。 本手法は、英語以外のテスト言語で有用であることが証明され、文化的に多種多様な国に対応する文化的価値との整合性を向上させることができる。
  論文  参考訳（メタデータ） (2024-08-29T12:18:04Z)
• Crossroads of Continents: Automated Artifact Extraction for Cultural Adaptation with Large Multimodal Models [22.92083941222383]
  DALL-E 3によって生成され、人間によって検証される大規模なデータセットであるDalleStreetを紹介する。 我々は,オープンソース(LLaVA)とクローズドソース(GPT-4V)の両方のモデルを用いて,地理的サブリージョンレベルでの文化的理解の相違を見出した。 以上の結果から,LMMの文化的能力の微妙なイメージが浮かび上がっており,文化認識システムの開発の必要性が浮かび上がっている。
  論文  参考訳（メタデータ） (2024-07-02T08:55:41Z)
• CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
  本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。 人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。 我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
  論文  参考訳（メタデータ） (2024-05-24T01:49:02Z)
• CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting [73.94059188347582]
  110か国・地域での3つのSOTAモデルの文化認識を,文化条件付き世代を通して8つの文化関連トピックについて明らかにした。 文化条件付き世代は、デフォルトの文化と区別される余分な文化を区別する言語的な「マーカー」から成り立っていることが判明した。
  論文  参考訳（メタデータ） (2024-04-16T00:50:43Z)
• Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
  本稿では,多文化知識獲得のための新しいアプローチを提案する。 本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。 私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
  論文  参考訳（メタデータ） (2024-02-14T18:16:54Z)
• Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in Large Language Models [89.94270049334479]
  本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。 LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
  論文  参考訳（メタデータ） (2023-10-19T05:38:23Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。