論文の概要: From Facts to Folklore: Evaluating Large Language Models on Bengali Cultural Knowledge

• arxiv url: http://arxiv.org/abs/2510.20043v1
• Date: Wed, 22 Oct 2025 21:42:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:16.921411
• Title: From Facts to Folklore: Evaluating Large Language Models on Bengali Cultural Knowledge
• Title（参考訳）: ファクトからフォークロアへ:ベンガル文化知識に基づく大規模言語モデルの評価
• Authors: Nafis Chowdhury, Moinul Haque, Anika Ahmed, Nazia Tasnim, Md. Istiak Hossain Shihab, Sajjadur Rahman, Farig Sadeque,
• Abstract要約: 大規模言語モデル(LLM)は,コンテキストが提供されると,文化的知識やパフォーマンスに苦しむことを示す。 我々の研究は、ベンガル語文化知識データセットを通じてこれらの制限に対処し、民俗伝統、料理芸術、地域方言を含む。 複数の多言語言語モデルについて検討したところ、これらのモデルは非文化的カテゴリーでよく機能するが、文化的な知識にかなり苦労し、文脈が提供されると性能が大幅に向上することがわかった。
• 参考スコア（独自算出の注目度）: 7.322034156204158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress in NLP research has demonstrated remarkable capabilities of large language models (LLMs) across a wide range of tasks. While recent multilingual benchmarks have advanced cultural evaluation for LLMs, critical gaps remain in capturing the nuances of low-resource cultures. Our work addresses these limitations through a Bengali Language Cultural Knowledge (BLanCK) dataset including folk traditions, culinary arts, and regional dialects. Our investigation of several multilingual language models shows that while these models perform well in non-cultural categories, they struggle significantly with cultural knowledge and performance improves substantially across all models when context is provided, emphasizing context-aware architectures and culturally curated training data.
• Abstract（参考訳）: NLP研究の最近の進歩は、幅広いタスクにまたがる大規模言語モデル(LLM)の顕著な機能を示している。 近年の多言語ベンチマークではLLMの文化的評価が進んでいるが、低リソース文化のニュアンスを捉える上で重要なギャップが残っている。 我々の研究は、ベンガル語文化知識(BLanCK)データセットを通じてこれらの制限に対処する。 複数の多言語言語モデルについて検討したところ、これらのモデルは非文化的カテゴリにおいて良好に機能する一方で、文脈を考慮したアーキテクチャと文化的にキュレートされたトレーニングデータを強調し、コンテキストが提供された場合、文化的な知識と性能に大きく抗し、全てのモデルで大幅に改善されていることがわかった。

関連論文リスト

• CultureScope: A Dimensional Lens for Probing Cultural Understanding in LLMs [57.653830744706305]
  CultureScopeは、大規模な言語モデルにおける文化的理解を評価するための、これまでで最も包括的な評価フレームワークである。 文化的な氷山理論に触発されて、文化知識分類のための新しい次元スキーマを設計する。 実験結果から,文化的理解を効果的に評価できることが示唆された。
  論文  参考訳（メタデータ） (2025-09-19T17:47:48Z)
• Grounding Multilingual Multimodal LLMs With Cultural Knowledge [48.95126394270723]
  本稿では,MLLMを文化的知識に根ざしたデータ中心型アプローチを提案する。 CulturalGroundは、42の国と39の言語にまたがる2200万の高品質で文化的に豊かなVQAペアで構成されている。 我々は,MLLM CulturalPangeaをCulturalGround上で学習し,汎用性を維持するために,標準の多言語指導訓練データをインターリーブする。
  論文  参考訳（メタデータ） (2025-08-10T16:24:11Z)
• MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [37.98920430188422]
  MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。 モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。 オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
  論文  参考訳（メタデータ） (2025-05-27T19:29:40Z)
• NileChat: Towards Linguistically Diverse and Culturally Aware LLMs for Local Communities [28.926075586175173]
  LLM(Large Language Models)の言語能力を低リソース言語に拡張することは、重要な研究分野である。 現在の研究方向は、英語コーパスの翻訳によって生成された合成データに依存している。 本研究は,特定のコミュニティに適した,合成および検索に基づく事前学習データを作成する手法を提案する。
  論文  参考訳（メタデータ） (2025-05-23T21:18:40Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)
• Does Mapo Tofu Contain Coffee? Probing LLMs for Food-related Cultural Knowledge [47.57055368312541]
  FmLAMA(FmLAMA)は、食品関連の文化的事実と食実践のバリエーションに着目した多言語データセットである。 我々は,LLMを様々なアーキテクチャや構成にわたって分析し,その性能を単言語と多言語の両方で評価する。
  論文  参考訳（メタデータ） (2024-04-10T08:49:27Z)
• Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
  本稿では,多文化知識獲得のための新しいアプローチを提案する。 本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。 私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
  論文  参考訳（メタデータ） (2024-02-14T18:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。