論文の概要: All Languages Matter: Evaluating LMMs on Culturally Diverse 100 Languages

• arxiv url: http://arxiv.org/abs/2411.16508v1
• Date: Mon, 25 Nov 2024 15:44:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:50.862106
• Title: All Languages Matter: Evaluating LMMs on Culturally Diverse 100 Languages
• Title（参考訳）: 全言語が重要:文化的に多言語化された100言語におけるLMMの評価
• Abstract要約: ALM-benchは、100言語にわたるLMMを評価するための、これまでで最大かつ最も包括的な取り組みである。 様々な言語でテキストと組み合わせた文化的に多様なイメージを理解し、推論する能力をテストすることで、既存のモデルに挑戦する。 このベンチマークは、真/偽、複数選択、オープンな質問など、さまざまな質問フォーマットを備えた、堅牢でニュアンスの高い評価フレームワークを提供する。
• 参考スコア（独自算出の注目度）: 73.93600813999306
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Existing Large Multimodal Models (LMMs) generally focus on only a few regions and languages. As LMMs continue to improve, it is increasingly important to ensure they understand cultural contexts, respect local sensitivities, and support low-resource languages, all while effectively integrating corresponding visual cues. In pursuit of culturally diverse global multimodal models, our proposed All Languages Matter Benchmark (ALM-bench) represents the largest and most comprehensive effort to date for evaluating LMMs across 100 languages. ALM-bench challenges existing models by testing their ability to understand and reason about culturally diverse images paired with text in various languages, including many low-resource languages traditionally underrepresented in LMM research. The benchmark offers a robust and nuanced evaluation framework featuring various question formats, including true/false, multiple choice, and open-ended questions, which are further divided into short and long-answer categories. ALM-bench design ensures a comprehensive assessment of a model's ability to handle varied levels of difficulty in visual and linguistic reasoning. To capture the rich tapestry of global cultures, ALM-bench carefully curates content from 13 distinct cultural aspects, ranging from traditions and rituals to famous personalities and celebrations. Through this, ALM-bench not only provides a rigorous testing ground for state-of-the-art open and closed-source LMMs but also highlights the importance of cultural and linguistic inclusivity, encouraging the development of models that can serve diverse global populations effectively. Our benchmark is publicly available.
• Abstract（参考訳）: 既存のLMM(Large Multimodal Models)は、一般的に少数の地域と言語のみに焦点を当てている。 LMMが改善を続けるにつれて、文化的文脈を理解し、地域感性を尊重し、低リソース言語をサポートしながら、対応する視覚的手がかりを効果的に統合することがますます重要である。 文化的に多様なグローバルマルチモーダルモデルを追求するために,提案したAll Languages Matter Benchmark (ALM-bench) は,100言語にわたるLMMを評価する上で,これまでで最大かつ最も包括的な取り組みである。 ALM-benchは、LMM研究で伝統的に不足していた多くの低リソース言語を含む、様々な言語でテキストと組み合わせた文化的に多様なイメージを理解し、推論する能力をテストすることで、既存のモデルに挑戦する。 このベンチマークは、真/偽、複数選択、オープンエンドの質問など、様々な質問形式を特徴とする堅牢でニュアンスの高い評価フレームワークを提供する。 ALMベンチの設計は、視覚的および言語的推論において様々な難易度を扱うモデルの能力を包括的に評価することを保証する。 世界文化の豊かなタペストリーを捉えるため、ALMベンチは、伝統や儀式から有名な個性、祝祭まで、13の異なる文化的側面からコンテンツを注意深くキュレートする。 ALM-benchは、最先端のオープンでクローズドなLMMのための厳格な試験場を提供するだけでなく、文化的・言語的傾向の重要性を強調し、多様なグローバルな人口に効果的に提供するモデルの開発を促進する。 私たちのベンチマークは公開されています。

関連論文リスト

• Cross-Lingual Consensus: Aligning Multilingual Cultural Knowledge via Multilingual Self-Consistency [1.338174941551702]
  大規模言語モデル(LLM)は、言語間での大幅なパフォーマンスの相違を示す。 本稿では,この知識ギャップを埋める新たな自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-21T08:11:01Z)
• CulturALL: Benchmarking Multilingual and Multicultural Competence of LLMs on Grounded Tasks [64.22418143822016]
  CulturALLは、大規模言語モデルの多言語的・多文化的な能力を評価するためのベンチマークである。 51の領域から14の言語で2,610のサンプルが含まれており、16のトピックに分散して、接地されたタスクの全幅をキャプチャしている。 実験の結果、最高のLLMはカルトゥルルルで44.48%の精度を達成し、改善の余地があることが示されている。
  論文  参考訳（メタデータ） (2026-04-21T09:21:46Z)
• MMA-ASIA: A Multilingual and Multimodal Alignment Framework for Culturally-Grounded Evaluation [91.22008265721952]
  MMA-ASIAは、アジア8か国と10か国を対象とする人為的、多言語的、マルチモーダルなベンチマークに重点を置いている。 これは、テキスト、画像(視覚的質問応答)、音声の3つのモードにまたがる入力レベルで整列された最初のデータセットである。 i) 国間の文化的認識格差、(ii) 言語間の整合性、(iii) 言語間の整合性、(iv) 文化知識の一般化、(v) 基礎的妥当性を評価する5次元評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2025-10-07T14:12:12Z)
• Grounding Multilingual Multimodal LLMs With Cultural Knowledge [48.95126394270723]
  本稿では,MLLMを文化的知識に根ざしたデータ中心型アプローチを提案する。 CulturalGroundは、42の国と39の言語にまたがる2200万の高品質で文化的に豊かなVQAペアで構成されている。 我々は,MLLM CulturalPangeaをCulturalGround上で学習し,汎用性を維持するために,標準の多言語指導訓練データをインターリーブする。
  論文  参考訳（メタデータ） (2025-08-10T16:24:11Z)
• MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [26.806566827956875]
  MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。 モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。 オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
  論文  参考訳（メタデータ） (2025-05-27T19:29:40Z)
• Evaluating Large Language Model with Knowledge Oriented Language Specific Simple Question Answering [73.73820209993515]
  KoLasSimpleQAは,Large Language Models (LLMs) の多言語事実能力を評価する最初のベンチマークである。 既存の研究に触発されて、単一知識点カバレッジ、絶対的客観性、独特な答え、時間的安定性といった特徴を備えた質問セットを作成しました。 その結果,2つの領域間に大きな性能差が認められた。
  論文  参考訳（メタデータ） (2025-05-22T12:27:02Z)
• Traveling Across Languages: Benchmarking Cross-Lingual Consistency in Multimodal LLMs [38.26693373272882]
  KnowRecallとVisRecallの2つの新しいベンチマークを紹介します。 KnowRecallは15の言語における事実的知識の一貫性を測定するために設計された視覚的質問応答ベンチマークである。 VisRecallは、画像にアクセスすることなく、9つの言語でランドマークの外観を記述するようモデルに求めることで、ビジュアルメモリの一貫性を評価する。
  論文  参考訳（メタデータ） (2025-05-21T03:43:37Z)
• MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation [60.52580061637301]
  MMLU-ProXは、言語毎に約11,829の質問を持つ、13の型的多様言語をカバーする包括的なベンチマークである。 5ショットチェーン(CoT)とゼロショットプロンプト戦略を用いて25の最先端の大規模言語モデル(LLM)を評価し,言語的・文化的境界を越えてその性能を解析した。 我々の実験は、ハイリソース言語から低リソース言語への一貫したパフォーマンス劣化を示し、最高のモデルは英語で70%以上の精度を達成しているが、Swahiliのような言語では40%程度にまで低下している。
  論文  参考訳（メタデータ） (2025-03-13T15:59:20Z)
• Multi-ToM: Evaluating Multilingual Theory of Mind Capabilities in Large Language Models [3.9532244541907793]
  心の理論(りょうがく、英: Theory of Mind、ToM)とは、自己や他者に対して精神状態を推論し、評価する認知能力のこと。 大規模言語モデル(LLM)が多種多様な言語や文化的文脈でToMをどの程度示すかは、いまだに不明である。 本稿では,このギャップに対処することを目的とした多言語ToM機能に関する総合的研究を紹介する。
  論文  参考訳（メタデータ） (2024-11-24T22:37:59Z)
• LLM for Everyone: Representing the Underrepresented in Large Language Models [21.07409393578553]
  この論文は、表現不足言語に焦点をあてて、NLPの研究と開発におけるギャップを埋めることを目的としている。 大規模言語モデル(LLM)の包括的評価を行い,それらの能力を評価する。 提案手法は、言語間連続的命令チューニング、検索に基づく言語間インコンテキスト学習、コンテキスト内クエリアライメントを網羅する。
  論文  参考訳（メタデータ） (2024-09-20T20:53:22Z)
• Towards Truthful Multilingual Large Language Models: Benchmarking and Alignment Strategies [38.3269908062146]
  多言語シナリオにおける真理性評価のためのベンチマークを構築する。 多数の言語にまたがるデータ割り当てを最適化するために,Fact-aware Multilingual Selective Synergy (FaMSS)を提案する。
  論文  参考訳（メタデータ） (2024-06-20T15:59:07Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)
• MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models [65.10456412127405]
  MLaKEは5言語にわたる知識編集手法の適応性のベンチマークである。 MLaKEは、ウィキペディアから言語にまたがるファクトチェーンを集約し、フリーフォームとマルチチョイスの両方で質問を生成する。 MLaKEにおける既存手法の多言語知識編集の一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-04-07T15:23:28Z)
• OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models [59.54423478596468]
  OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。 各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。 具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T04:42:41Z)
• CIF-Bench: A Chinese Instruction-Following Benchmark for Evaluating the Generalizability of Large Language Models [53.9835961434552]
  本研究では,中国語に対する大規模言語モデル(LLM)の一般化性を評価するために,中国語命令追跡ベンチマーク(CIF-Bench)を導入する。 CIF-Benchは150のタスクと15,000の入力出力ペアで構成され、複雑な推論と中国の文化的ニュアンスをテストするためにネイティブスピーカーによって開発された。 データ汚染を軽減するため、データセットの半分しか公開せず、残りは非公開であり、スコア分散を最小限に抑えるために多種多様な命令を導入する。
  論文  参考訳（メタデータ） (2024-02-20T16:02:12Z)
• CMMLU: Measuring massive multitask language understanding in Chinese [133.70911295934746]
  本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。 CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
  論文  参考訳（メタデータ） (2023-06-15T15:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。