論文の概要: CultureBank: An Online Community-Driven Knowledge Base Towards Culturally Aware Language Technologies
- arxiv url: http://arxiv.org/abs/2404.15238v1
- Date: Tue, 23 Apr 2024 17:16:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 13:12:44.791868
- Title: CultureBank: An Online Community-Driven Knowledge Base Towards Culturally Aware Language Technologies
- Title(参考訳): CultureBank: 文化的に認識可能な言語技術を目指す,オンラインコミュニティ駆動の知識ベース
- Authors: Weiyan Shi, Ryan Li, Yutong Zhang, Caleb Ziems, Chunhua yu, Raya Horesh, Rogério Abreu de Paula, Diyi Yang,
- Abstract要約: CultureBankは、ユーザの自己物語に基づいて構築された知識ベースである。
TikTokから12K、Redditから1Kの文化的記述が含まれている。
今後の文化的に意識された言語技術に対する推奨事項を提示する。
- 参考スコア(独自算出の注目度): 53.2331634010413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To enhance language models' cultural awareness, we design a generalizable pipeline to construct cultural knowledge bases from different online communities on a massive scale. With the pipeline, we construct CultureBank, a knowledge base built upon users' self-narratives with 12K cultural descriptors sourced from TikTok and 11K from Reddit. Unlike previous cultural knowledge resources, CultureBank contains diverse views on cultural descriptors to allow flexible interpretation of cultural knowledge, and contextualized cultural scenarios to help grounded evaluation. With CultureBank, we evaluate different LLMs' cultural awareness, and identify areas for improvement. We also fine-tune a language model on CultureBank: experiments show that it achieves better performances on two downstream cultural tasks in a zero-shot setting. Finally, we offer recommendations based on our findings for future culturally aware language technologies. The project page is https://culturebank.github.io . The code and model is at https://github.com/SALT-NLP/CultureBank . The released CultureBank dataset is at https://huggingface.co/datasets/SALT-NLP/CultureBank .
- Abstract(参考訳): 言語モデルの文化的意識を高めるため,我々は,異なるオンラインコミュニティの文化的知識基盤を大規模に構築するための一般化可能なパイプラインを設計する。
このパイプラインでは、TikTokから12Kの文化記述子とRedditから1Kの文化記述子を使って、ユーザの自己物語に基づいて構築された知識ベースであるCultureBankを構築します。
従来の文化知識資源とは異なり、カルチャーバンクは文化的知識の柔軟な解釈を可能にする文化記述子についての多様な見解と、文脈化された文化的シナリオが評価の基礎となる。
CultureBankでは、異なるLLMの文化的意識を評価し、改善すべき領域を特定します。
実験では、ゼロショット設定で、下流の2つの文化的タスクのパフォーマンスが向上していることが示されています。
最後に,今後の文化に配慮した言語技術に対する知見に基づくレコメンデーションを提案する。
プロジェクトページはhttps://culturebank.github.io である。
コードとモデルはhttps://github.com/SALT-NLP/CultureBankにある。
CultureBankのデータセットはhttps://huggingface.co/datasets/SALT-NLP/CultureBankにある。
関連論文リスト
- Self-Pluralising Culture Alignment for Large Language Models [36.689491885394034]
本稿では,大規模言語モデルと多言語文化との整合性を実現するフレームワークであるCultureSPAを提案する。
カルチャー・アウェア/アウェアアウトプットを比較することで、カルチャー関連インスタンスを検出し、収集することができる。
広範囲な実験により、CultureSPAは、一般の能力を損なうことなく、多様な文化へのLCMのアライメントを著しく改善することが示された。
論文 参考訳(メタデータ) (2024-10-16T19:06:08Z) - How Well Do LLMs Identify Cultural Unity in Diversity? [12.982460687543952]
本稿では,概念の文化的統一性を理解するために,デコーダのみの大規模言語モデル(LLM)を評価するためのベンチマークデータセットを提案する。
CUNITは、10か国で285の伝統的な文化的概念に基づいて構築された1,425の評価例で構成されている。
高い関連性を持つ異文化のコンセプトペアを識別するLLMの能力を評価するために,コントラストマッチングタスクを設計する。
論文 参考訳(メタデータ) (2024-08-09T14:45:22Z) - Extrinsic Evaluation of Cultural Competence in Large Language Models [53.626808086522985]
本稿では,2つのテキスト生成タスクにおける文化能力の評価に焦点をあてる。
我々は,文化,特に国籍の明示的なキューが,そのプロンプトに乱入している場合のモデル出力を評価する。
異なる国におけるアウトプットのテキスト類似性とこれらの国の文化的価値との間には弱い相関関係がある。
論文 参考訳(メタデータ) (2024-06-17T14:03:27Z) - CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。
人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。
我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
論文 参考訳(メタデータ) (2024-05-24T01:49:02Z) - Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
大規模言語モデル(LLM)は、かなりの常識的理解を示している。
本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
論文 参考訳(メタデータ) (2024-05-07T20:28:34Z) - CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting [73.94059188347582]
110か国・地域での3つのSOTAモデルの文化認識を,文化条件付き世代を通して8つの文化関連トピックについて明らかにした。
文化条件付き世代は、デフォルトの文化と区別される余分な文化を区別する言語的な「マーカー」から成り立っていることが判明した。
論文 参考訳(メタデータ) (2024-04-16T00:50:43Z) - Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
本稿では,多文化知識獲得のための新しいアプローチを提案する。
本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。
私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
論文 参考訳(メタデータ) (2024-02-14T18:16:54Z) - Cultural Alignment in Large Language Models: An Explanatory Analysis Based on Hofstede's Cultural Dimensions [10.415002561977655]
本研究は,ホフステデの文化次元の枠組みを用いて文化的アライメントを定量化する文化アライメントテスト (Hoftede's CAT) を提案する。
我々は、米国、中国、アラブ諸国といった地域の文化的側面に対して、大規模言語モデル(LLM)を定量的に評価する。
その結果, LLMの文化的アライメントを定量化し, 説明的文化的次元におけるLCMの差異を明らかにすることができた。
論文 参考訳(メタデータ) (2023-08-25T14:50:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。