論文の概要: MMA-ASIA: A Multilingual and Multimodal Alignment Framework for Culturally-Grounded Evaluation

• arxiv url: http://arxiv.org/abs/2510.08608v1
• Date: Tue, 07 Oct 2025 14:12:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:47.106308
• Title: MMA-ASIA: A Multilingual and Multimodal Alignment Framework for Culturally-Grounded Evaluation
• Title（参考訳）: 文化的評価のための多言語・多モーダルアライメントフレームワークMMA-ASIA
• Authors: Weihua Zheng, Zhengyuan Liu, Tanmoy Chakraborty, Weiwen Xu, Xiaoxue Gao, Bryan Chen Zhengyu Tan, Bowei Zou, Chang Liu, Yujia Hu, Xing Xie, Xiaoyuan Yi, Jing Yao, Chaojun Wang, Long Li, Rui Liu, Huiyao Liu, Koji Inoue, Ryuichi Sumida, Tatsuya Kawahara, Fan Xu, Lingyu Ye, Wei Tian, Dongjun Kim, Jimin Jung, Jaehyung Seo, Nadya Yuki Wangsajaya, Pham Minh Duc, Ojasva Saxena, Palash Nandi, Xiyan Tao, Wiwik Karlina, Tuan Luong, Keertana Arun Vasan, Roy Ka-Wei Lee, Nancy F. Chen,
• Abstract要約: MMA-ASIAは、アジア8か国と10か国を対象とする人為的、多言語的、マルチモーダルなベンチマークに重点を置いている。 これは、テキスト、画像(視覚的質問応答)、音声の3つのモードにまたがる入力レベルで整列された最初のデータセットである。 i) 国間の文化的認識格差、(ii) 言語間の整合性、(iii) 言語間の整合性、(iv) 文化知識の一般化、(v) 基礎的妥当性を評価する5次元評価プロトコルを提案する。
• 参考スコア（独自算出の注目度）: 91.22008265721952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are now used worldwide, yet their multimodal understanding and reasoning often degrade outside Western, high-resource settings. We propose MMA-ASIA, a comprehensive framework to evaluate LLMs' cultural awareness with a focus on Asian contexts. MMA-ASIA centers on a human-curated, multilingual, and multimodally aligned multiple-choice benchmark covering 8 Asian countries and 10 languages, comprising 27,000 questions; over 79 percent require multi-step reasoning grounded in cultural context, moving beyond simple memorization. To our knowledge, this is the first dataset aligned at the input level across three modalities: text, image (visual question answering), and speech. This enables direct tests of cross-modal transfer. Building on this benchmark, we propose a five-dimensional evaluation protocol that measures: (i) cultural-awareness disparities across countries, (ii) cross-lingual consistency, (iii) cross-modal consistency, (iv) cultural knowledge generalization, and (v) grounding validity. To ensure rigorous assessment, a Cultural Awareness Grounding Validation Module detects "shortcut learning" by checking whether the requisite cultural knowledge supports correct answers. Finally, through comparative model analysis, attention tracing, and an innovative Vision-ablated Prefix Replay (VPR) method, we probe why models diverge across languages and modalities, offering actionable insights for building culturally reliable multimodal LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は現在、世界中で使用されているが、そのマルチモーダルな理解と推論は、西洋の高リソース設定以外では劣化することが多い。 我々は,LLMの文化的意識を評価するための総合的な枠組みであるMMA-ASIAをアジア文脈に焦点をあてて提案する。 MMA-ASIAは、アジア8か国と10か国を対象とし、27,000の質問を含む、人為的、多言語的、マルチモーダルな多重選択のベンチマークを中心としている。 私たちの知る限り、これはテキスト、画像(視覚的質問応答)、音声の3つのモードにまたがる入力レベルで整列された最初のデータセットである。 これにより、クロスモーダル転送の直接テストが可能になる。 このベンチマークに基づいて,評価を行う5次元評価プロトコルを提案する。 一 国ごとの文化意識格差 (ii)言語間の整合性 (三)クロスモーダル整合性 (四)文化知識の一般化、及び (v) 根拠となる有効性。 厳密な評価を確保するため、文化意識接地検証モジュールは、必要な文化的知識が正しい回答をサポートするかどうかを確認して「ショートカット学習」を検出する。 最後に, 比較モデル解析, 注意追跡, 革新的ビジョン対応プレフィックス・リプレイ(VPR)手法により, モデルが言語やモダリティに分散する理由を解明し, 文化的に信頼性の高いマルチモーダルLLMを構築するための実用的な洞察を提供する。

関連論文リスト

• Grounding Multilingual Multimodal LLMs With Cultural Knowledge [48.95126394270723]
  本稿では,MLLMを文化的知識に根ざしたデータ中心型アプローチを提案する。 CulturalGroundは、42の国と39の言語にまたがる2200万の高品質で文化的に豊かなVQAペアで構成されている。 我々は,MLLM CulturalPangeaをCulturalGround上で学習し,汎用性を維持するために,標準の多言語指導訓練データをインターリーブする。
  論文  参考訳（メタデータ） (2025-08-10T16:24:11Z)
• MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [37.98920430188422]
  MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。 モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。 オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
  論文  参考訳（メタデータ） (2025-05-27T19:29:40Z)
• CulFiT: A Fine-grained Cultural-aware LLM Training Paradigm via Multilingual Critique Data Synthesis [41.261808170896686]
  CulFiTは、多言語データと微粒な報酬モデリングを利用して、文化的感受性と傾きを高める新しいトレーニングパラダイムである。 本手法は,文化関連諸質問を合成し,文化関連言語における批判データを構築し,文化文献を検証可能な知識単位に分解するために,きめ細かい報酬を用いる。
  論文  参考訳（メタデータ） (2025-05-26T04:08:26Z)
• RAVENEA: A Benchmark for Multimodal Retrieval-Augmented Visual Culture Understanding [79.44246283490665]
  本稿では,検索による視覚文化理解の促進を目的とした新しいベンチマークであるRAVENEAを紹介する。 RAVENEAは、文化中心の視覚的質問応答(cVQA)と文化インフォームドイメージキャプション(cIC)の2つのタスクに焦点を当てている。 画像クエリ毎に7つのマルチモーダルレトリバーを訓練・評価し、14の最先端の視覚言語モデルにおける検索強化入力の下流への影響を計測する。
  論文  参考訳（メタデータ） (2025-05-20T14:57:16Z)
• All Languages Matter: Evaluating LMMs on Culturally Diverse 100 Languages [73.93600813999306]
  ALM-benchは、100言語にわたるLMMを評価するための、これまでで最大かつ最も包括的な取り組みである。 様々な言語でテキストと組み合わせた文化的に多様なイメージを理解し、推論する能力をテストすることで、既存のモデルに挑戦する。 このベンチマークは、真/偽、複数選択、オープンな質問など、さまざまな質問フォーマットを備えた、堅牢でニュアンスの高い評価フレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-25T15:44:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。