論文の概要: CulMind: Benchmarking Multimodal Understanding and Reasoning in Chinese Cultural Heritage

• arxiv url: http://arxiv.org/abs/2606.21618v1
• Date: Fri, 19 Jun 2026 17:22:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 04:33:32.873835
• Title: CulMind: Benchmarking Multimodal Understanding and Reasoning in Chinese Cultural Heritage
• Title（参考訳）: CulMind:中国の文化遺産におけるマルチモーダル理解と推論のベンチマーク
• Authors: Zhangwei Cao, Shuhan Fan, Yuting Wei, Jiajun Zhang, Yihang Peng, Qi Meng, Yangfu Zhu, Liangbin Yang,
• Abstract要約: CulMindとCulMind-Rは、中国文化遺産(CCH)マルチモーダル大言語モデルを評価するためのベンチマークである。 24タスク推論サブセットは、推論プロセスの評価のためのタスク固有次元を適応的に定義する。 14の指導的MLLMの実験は、特に困難なタスクにおいて、回答と推論の間に大きなギャップがあることを明らかにしている。
• 参考スコア（独自算出の注目度）: 19.03676009321071
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Evaluating Multimodal Large Language Models (MLLMs) in Chinese Cultural Heritage (CCH) requires fine-grained reasoning over visual, textual, stylistic, and historical clues. However, existing CCH benchmarks mainly emphasize final-answer accuracy, while the accuracy and completeness of reasoning processes remain underexplored. To address this gap, we introduce CulMind and CulMind-R: a high-quality benchmark for multimodal CCH covering 50 tasks from collections of more than 100 museums, and a 24-task reasoning subset that adaptively defines task-specific dimensions for reasoning process evaluation. To evaluate reasoning quality, we propose ReaScore, a task-adaptive metric that evaluates reasoning by automatically weighting task-relevant dimensions. Experiments on 14 leading MLLMs reveal a substantial gap between answers and reasoning, especially on challenging tasks. Further analysis shows that task-adaptive dimension selection and weighting better align evaluation results with expert judgments. Overall, our benchmark and metric support a more expert-aligned assessment of CCH understanding and offer a transferable reference for broader evaluations of cultural heritage. We publicly release the data, code, and evaluation scripts at https://github.com/ZevTsao/CulMind to facilitate reproducible research.
• Abstract（参考訳）: 中国文化遺産(CCH)におけるマルチモーダル大言語モデル(MLLM)の評価には、視覚的、テキスト的、スタイリスティック、歴史的手がかりに関するきめ細かい推論が必要である。 しかし、既存のCCHベンチマークは主に最終回答の精度を強調しているが、推論プロセスの正確さと完全性は未解明のままである。 このギャップに対処するために、CulMindとCulMind-Rは100以上の博物館のコレクションから50のタスクをカバーしたマルチモーダルCCHのための高品質なベンチマークであり、推論プロセスの評価のためにタスク固有の次元を適応的に定義する24タスク推論サブセットである。 推論品質を評価するために,タスク関連次元を自動的に重み付けすることで推論を評価するタスク適応計量ReaScoreを提案する。 14の指導的MLLMの実験は、特に困難なタスクにおいて、回答と推論の間に大きなギャップがあることを明らかにしている。 さらに分析した結果,タスク適応型次元選択と重み付けにより,評価結果と専門家の判断との整合性が向上した。 総合的に、我々のベンチマークとメトリクスは、CCH理解のより専門的な評価をサポートし、文化遺産のより広範な評価のための伝達可能な参照を提供する。 我々は、再現可能な研究を容易にするために、https://github.com/ZevTsao/CulMindでデータ、コード、評価スクリプトを公開しています。

関連論文リスト

• CrossCult-KIBench: A Benchmark for Cross-Cultural Knowledge Insertion in MLLMs [13.267566050457974]
  異文化間の知識挿入は、他の文化における本来の振る舞いを保ちながら、特定の文化的文脈にモデルを適応させることに焦点を当てる。 ベンチマークには、英語、中国語、アラビア語文化グループにまたがる49の文化的関連視覚シナリオをカバーする、9800のイメージグラウンドケースが含まれている。 MCKI(Memory-Conditioned Knowledge Insertion)は、冷凍MLLM表現を用いて、外部メモリから関連する文化的知識を検索する。
  論文  参考訳（メタデータ） (2026-05-07T12:26:11Z)
• The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models [51.61416200800499]
  GaoYaoは182.3kサンプル、26言語、51か国/地域からなる総合ベンチマークである。 まず、GaoYao氏は評価タスクを3つの文化階層に分類する統一的なフレームワークを提案する。 第二に、専門家を活用して、主観的なベンチマークを19言語に厳格にローカライズすることで、ネイティブ品質の拡大を実現しています。 第3に,20以上のフラッグシップおよびコンパクトLCMの詳細な診断を行う。
  論文  参考訳（メタデータ） (2026-04-22T06:19:46Z)
• Evaluating Arabic Large Language Models: A Survey of Benchmarks, Methods, and Gaps [3.689494816536669]
  この調査は、NLPタスク、知識領域、文化的理解、特殊能力にわたる40以上の評価ベンチマークを分析し、アラビア語のLLMベンチマークを初めて体系的にレビューした。 本稿では,ナレッジ,NLPタスク,カルチャー・アンド・ダイアレクト,ターゲット・スペクティフィック評価の4つのカテゴリに分類基準を編成する手法を提案する。 分析の結果,時間的評価の限界,マルチターン・ダイアログの不十分,データセットの文化的な相違など,重要なギャップを識別しながら,ベンチマークの多様性が著しく向上していることが判明した。
  論文  参考訳（メタデータ） (2025-10-15T11:25:33Z)
• Benchmarking Chinese Commonsense Reasoning with a Multi-hop Reasoning Perspective [53.594353527056775]
  我々は,大言語モデル(LLM)を評価するために,中国語コモンセンスマルチホップ推論(CCMOR)を提案する。 CCMORは、中国固有の事実知識と多段階論理的推論を統合するLLMの能力を評価するように設計されている。 提案手法では,提案手法を用いて,提案手法の検証と検証を行う。
  論文  参考訳（メタデータ） (2025-10-09T20:29:00Z)
• Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation [71.59208664920452]
  多言語データセットの文化的バイアスは、グローバルベンチマークとしての有効性に重大な課題をもたらす。 MMLUの進歩は西洋中心の概念の学習に大きく依存しており、文化に敏感な知識を必要とする質問の28%がそうである。 改良されたMMLUであるGlobal MMLUをリリースし,42言語を対象に評価を行った。
  論文  参考訳（メタデータ） (2024-12-04T13:27:09Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• Benchmarking Cognitive Domains for LLMs: Insights from Taiwanese Hakka Culture [4.467334566487944]
  本研究では,文化的知識の理解と処理において,大規模言語モデル(LLM)の性能を評価するためのベンチマークを提案する。 この研究は、記憶、理解、応用、分析、評価、創造という6つの認知領域にわたるLLMを体系的に評価する多次元フレームワークを開発する。 その結果,すべての認知領域,特に文化知識の正確な検索と応用を必要とするタスクにおいて,RAGの有効性が強調された。
  論文  参考訳（メタデータ） (2024-09-03T02:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。