論文の概要: Do Multilingual VLMs Reason Equally? A Cross-Lingual Visual Reasoning Audit for Indian Languages
- arxiv url: http://arxiv.org/abs/2603.26742v1
- Date: Mon, 23 Mar 2026 05:56:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:44.56058
- Title: Do Multilingual VLMs Reason Equally? A Cross-Lingual Visual Reasoning Audit for Indian Languages
- Title（参考訳）: 複数言語によるVLMの推論は等しく行うか? インドの言語に対する言語間視覚的推論
- Abstract要約: インド語における最初の言語間視覚的推論監査について紹介する。
MathVista、ScienceQA、MMMUの980の質問はヒンディー語、タミル語、テルグ語、ベンガル語、カンナダ語、マラタイ語に翻訳される。
英語からインド語に切り替えた場合、精度は9.8～25ポイント低下する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models score well on mathematical, scientific, and spatial reasoning benchmarks, yet these evaluations are overwhelmingly English. I present the first cross-lingual visual reasoning audit for Indian languages. 980 questions from MathVista, ScienceQA, and MMMU are translated into Hindi, Tamil, Telugu, Bengali, Kannada, and Marathi using IndicTrans2, with Gemini 2.0 Flash cross-verification on 50 samples per language (inter-translator agreement 0.79-0.84). Eight VLMs, from 7B open-source models to GPT-4o, are evaluated across all seven languages, yielding 68,600 inference records that include text-only and chain-of-thought ablations. I find accuracy drops of 9.8-25 percentage points when switching from English to an Indian language, with Dravidian languages suffering up to 13.2 pp more than Indo-Aryan. Chain-of-thought prompting degrades Bengali (-14.4 pp) and Kannada (-11.4 pp) rather than helping, exposing English-centric reasoning chains. Aya-Vision-8B, built for 23 languages, still drops 28.5 pp on Dravidian scripts; multilingual pretraining alone does not transfer visual reasoning. I release the translated benchmark and all model outputs.
- Abstract（参考訳）: 視覚言語モデルは、数学的、科学的、空間的推論のベンチマークでよく評価されるが、これらの評価は圧倒的に英語である。
インド語における最初の言語間視覚的推論監査について紹介する。
MathVista、ScienceQA、MMMUの980の質問は、IndicTrans2を使用してヒンディー語、タミル語、テルグ語、ベンガル語、カナダ語、マラタイ語に翻訳され、Gemini 2.0 Flashは1言語あたり50のサンプルに対して相互検証されている(インタートランスレータ契約 0.79-0.84)。
7BオープンソースモデルからGPT-4oまでの8つのVLMは、7つの言語で評価され、68,600の推論記録が得られた。
英語からインド語に切り替えた場合、精度は9.8-25ポイント低下し、ドラヴィダ語はインド・アーリア語より13.2pp高い。
思考の連鎖がベンガリ (-14.4 pp) とカナダ (-11.4 pp) を分解し、英語中心の推論連鎖を露出させる。
Aya-Vision-8Bは23言語向けに開発されたが、Dravidianスクリプトでは28.5ppを落としている。
私は翻訳されたベンチマークとすべてのモデル出力をリリースします。
関連論文リスト
- Building Multilingual Bridges: Data Mixing as the Pillar of Generalization for In-Language Reasoning [75.46846056993418]
推論言語モデルは、それらが引き起こされる言語に関係なく、主に英語で理にかなっている。
これは、英語を話さないユーザにとってアクセス不能であり、元の質問の意図を失うリスクがあり、ターゲット言語でより容易に表現される知識を忘れてしまう。
本研究では,L2推論を推進し,ユーザのプロンプトの言語でモデルが一貫した推論を行えるようにし,プロンプトと応答の間に言語内ブリッジを構築する。
論文 参考訳（メタデータ） (2026-09-09T16:56:25Z) - INDIC DIALECT: A Multi Task Benchmark to Evaluate and Translate in Indian Language Dialects [10.663878830823043]
インドではヒンディー語が世界で3番目に話されている言語(6億人以上の話者)であるにもかかわらず、多くの方言はいまだに表現されていない。
我々は,11の方言と2つの言語(ヒンディー語とオディア語)にまたがる13k文対の並列コーパスであるINDIC-DIALECTを紹介する。
論文 参考訳（メタデータ） (2026-01-15T13:40:27Z) - GanitBench: A bi-lingual benchmark for evaluating mathematical reasoning in Vision Language Models [0.0]
GanitBenchは1527の視覚のみの質問からなるベンチマークである。
ゼロショットチェイン・オブ・ソート(CoT)と2ショットCoT設定の2つのクローズドソースモデルの評価を行った。
GPT-4o miniはベンチマークでより支配的なモデルであり、平均精度は38.15%である。
論文 参考訳（メタデータ） (2025-07-31T18:24:05Z) - Machine Translation Advancements of Low-Resource Indian Languages by Transfer Learning [9.373815852241648]
低リソースのインド語に対する信頼性の高い機械翻訳システムを開発するために,我々は2つの異なる知識伝達戦略を採用している。
Assamese(as)とManipuri(mn)については、既存のIndicTrans2オープンソースモデルを微調整して、英語とこれらの言語間の双方向翻訳を可能にした。
Khasi (kh) と Mizo (mz) については,これら4つの言語ペアのバイリンガルデータと約8kwの英語-ベンガルバイリンガルデータを用いて,ベースラインとして多言語モデルを訓練した。
論文 参考訳（メタデータ） (2024-09-24T08:53:19Z) - Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。
これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
論文 参考訳（メタデータ） (2024-08-01T04:56:13Z) - Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。
我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
論文 参考訳（メタデータ） (2023-10-31T08:09:20Z) - Baichuan 2: Open Large-scale Language Models [51.34140526283222]
我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。
Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
論文 参考訳（メタデータ） (2023-09-19T04:13:22Z) - On the Off-Target Problem of Zero-Shot Multilingual Neural Machine
Translation [104.85258654917297]
識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。
多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。
我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
論文 参考訳（メタデータ） (2023-05-18T12:43:31Z) - Language Models are Multilingual Chain-of-Thought Reasoners [83.37148309771378]
本稿では,250の小学校数学問題を10の類型的多言語に手動で翻訳することで,多言語学級数学のベンチマークを導入する。
MGSM問題をチェーン・オブ・ソートにより解く能力は,モデルスケールの増大とともに出現する。
言語モデルの多言語推論能力は他のタスクにも及んでいることを示す。
論文 参考訳（メタデータ） (2022-10-06T17:03:34Z) - MATra: A Multilingual Attentive Transliteration System for Indian
Scripts [0.0]
本稿では,以下の5言語のうちの任意のペア間で音訳を行うことができるモデルを示す。
このモデルは最先端の言語(5つの言語の中で全てのペア)を破り、トップ1の精度スコアは80.7%に達した。
論文 参考訳（メタデータ） (2022-08-23T08:14:29Z) - MuRIL: Multilingual Representations for Indian Languages [3.529875637780551]
インドは、1369の合理化された言語と方言が全国で話されている多言語社会です。
それにもかかわらず、今日の最先端の多言語システムは、インド(IN)言語で最適に動作します。
IN言語に特化した多言語言語モデルであるMuRILを提案します。
論文 参考訳（メタデータ） (2021-03-19T11:06:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。