論文の概要: LinguaMark: Do Multimodal Models Speak Fairly? A Benchmark-Based Evaluation

• arxiv url: http://arxiv.org/abs/2507.07274v1
• Date: Wed, 09 Jul 2025 20:45:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.201973
• Title: LinguaMark: Do Multimodal Models Speak Fairly? A Benchmark-Based Evaluation
• Title（参考訳）: LinguaMark: マルチモーダルモデルは公正に話すか? ベンチマークベースの評価
• Authors: Ananya Raval, Aravind Narayanan, Vahid Reza Khazaie, Shaina Raza,
• Abstract要約: マルチ言語視覚質問応答(VQA)タスクにおいて,最先端のLMMを評価するためのベンチマークを導入する。 データセットは、11言語と5つの社会的属性にまたがる、6,875のイメージテキストペアで構成されている。 Bias、Answer Relevancy、Faithfulnessの3つの主要な指標を用いてモデルを評価する。
• 参考スコア（独自算出の注目度）: 2.9248916859490173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Multimodal Models (LMMs) are typically trained on vast corpora of image-text data but are often limited in linguistic coverage, leading to biased and unfair outputs across languages. While prior work has explored multimodal evaluation, less emphasis has been placed on assessing multilingual capabilities. In this work, we introduce LinguaMark, a benchmark designed to evaluate state-of-the-art LMMs on a multilingual Visual Question Answering (VQA) task. Our dataset comprises 6,875 image-text pairs spanning 11 languages and five social attributes. We evaluate models using three key metrics: Bias, Answer Relevancy, and Faithfulness. Our findings reveal that closed-source models generally achieve the highest overall performance. Both closed-source (GPT-4o and Gemini2.5) and open-source models (Gemma3, Qwen2.5) perform competitively across social attributes, and Qwen2.5 demonstrates strong generalization across multiple languages. We release our benchmark and evaluation code to encourage reproducibility and further research.
• Abstract（参考訳）: 大規模マルチモーダルモデル (LMM) は通常、画像テキストデータの膨大なコーパスに基づいて訓練されるが、言語的範囲ではしばしば制限され、言語間で偏りと不公平な出力をもたらす。 先行研究ではマルチモーダル評価が検討されているが、多言語能力の評価にはあまり重点を置いていない。 本稿では,多言語視覚質問応答(VQA)タスク上で,最先端のLMMを評価するためのベンチマークであるLinguaMarkを紹介する。 データセットは、11言語と5つの社会的属性にまたがる、6,875のイメージテキストペアで構成されている。 Bias、Answer Relevancy、Faithfulnessの3つの主要な指標を用いてモデルを評価する。 以上の結果から,クローズドソースモデルは全体の性能が最も高いことが判明した。 クローズド・ソース(GPT-4oとGemini2.5)とオープンソース・モデル(Gemma3、Qwen2.5)はソーシャル・属性間で競争力があり、Qwen2.5は複数の言語にまたがる強力な一般化を示している。 再現性とさらなる研究を促進するため、ベンチマークと評価コードをリリースする。

関連論文リスト

• M-Prometheus: A Suite of Open Multilingual LLM Judges [64.22940792713713]
  M-Prometheusは,多言語出力の直接評価とペア比較フィードバックを両立できるオープンウェイトLLM判定器のスイートである。 M-Prometheusモデルは、20以上の言語にまたがる多言語報酬ベンチマークや、4つの言語対をカバーする文語機械翻訳(MT)評価において、最先端のLLM判事より優れている。
  論文  参考訳（メタデータ） (2025-04-07T11:37:26Z)
• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P -M P-MMEvalは、さまざまなデータセットにわたって一貫した言語カバレッジを提供し、並列サンプルを提供する。 我々は、モデルとタスク間の性能を比較するために、代表的多言語モデル系列に関する広範な実験を行う。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• mHumanEval -- A Multilingual Benchmark to Evaluate Large Language Models for Code Generation [28.531581489405745]
  mHumanEvalは200以上の自然言語でプロンプトをサポートする拡張ベンチマークである。 我々は15の多様な自然言語(NL)に対して専門的な人文翻訳を提供する。 我々は,SOTA (State-of-the-art) Code LLMの多言語コード生成能力を解析して結論付ける。
  論文  参考訳（メタデータ） (2024-10-19T08:44:26Z)
• M5 -- A Diverse Benchmark to Assess the Performance of Large Multimodal Models Across Multilingual and Multicultural Vision-Language Tasks [10.677274746850554]
  M5は多言語コンテキストにおける様々な視覚・運動タスクのLMMを評価するために設計された最初の総合ベンチマークである。 ハイソース言語と低リソース言語のタスクに依存しないパフォーマンスの相違を強調した。 より大規模なモデルは、多言語環境では必ずしもより小さなモデルよりも優れているとは限らないことを示す。
  論文  参考訳（メタデータ） (2024-07-04T09:55:04Z)
• IrokoBench: A New Benchmark for African Languages in the Age of Large Language Models [18.083861654053585]
  IrokoBenchは17の原型的に異なる低リソースのアフリカ言語のための人間翻訳ベンチマークデータセットである。 IrokoBenchを使って、10のオープンおよび6つのプロプライエタリ言語モデルでゼロショット、少数ショット、および翻訳テストの設定(テストセットを英語に翻訳する)を評価します。 オープンモデルとプロプライエタリモデルの間には大きなパフォーマンスギャップがあり、最高パフォーマンスのオープンモデルであるGemma 2 27Bは、最高のパフォーマンスのプロプライエタリモデルであるGPT-4oのパフォーマンスの63%に過ぎません。
  論文  参考訳（メタデータ） (2024-06-05T15:23:08Z)
• MTEB-French: Resources for French Sentence Embedding Evaluation and Analysis [1.5761916307614148]
  本稿では,フランス語の文埋め込みに関する最初のベンチマークを提案する。 51個の埋め込みモデルを大規模に比較した。 すべてのタスクにおいてモデルが最良でない場合でも、文類似性に基づいて事前訓練された大規模多言語モデルは非常によく機能することがわかった。
  論文  参考訳（メタデータ） (2024-05-30T20:34:37Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。