論文の概要: MultiInpaintCOCO: Fine-Grained Visual Understanding in Multiple Languages

• arxiv url: http://arxiv.org/abs/2611.03309v1
• Date: Mon, 02 Nov 2026 15:39:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.617234
• Title: MultiInpaintCOCO: Fine-Grained Visual Understanding in Multiple Languages
• Title（参考訳）: MultiInpaintCOCO: 複数の言語における細粒度視覚的理解
• Abstract要約: InpaintCOCOは、細粒度の視覚的詳細に焦点を当てた英語のデータセットで、タイプボロジー的に多様な13の言語に拡張します。 MultiInpaintCOCO - 953の最小ペアのサンプルの多言語ベンチマーク。 その結果,低リソース言語では性能が著しく低下することがわかった。
• 参考スコア（独自算出の注目度）: 0.8899670429041452
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous research shows that vision-language (VL) models struggle to understand fine-grained image details and tend to focus on the overall layout. Moreover, any weakness in English tends to be further amplified in the multilingual setting. To study that, we extend InpaintCOCO, an English dataset focused on fine-grained visual details, to 13 typologically diverse languages across five language families, creating MultiInpaintCOCO - a new multilingual benchmark of 953 minimal-pair examples. We further test several state-of-the-art models in multilingual multimodal retrieval, considering both light VL CLIP-like encoders and large language models. Our results show that performance degrades substantially for lower-resource languages, with the strongest predictor being the data resources available for the languages rather than typological similarity to English. In cross-lingual retrieval, most models exhibit a systematic bias toward English: when given a correct caption in a non-English language and an incorrect one in English, models preferentially select the English caption. This bias varies considerably across architectures. Among the tested models, Gemma 3 shows the strongest English preference while Qwen 3 is the least biased, despite both reaching similar monolingual accuracy across languages. The code is available at https://github.com/ufal/multi-inpaint-coco.
• Abstract（参考訳）: 従来の研究では、視覚言語(VL)モデルは詳細な画像の詳細を理解するのに苦労し、全体的なレイアウトに集中する傾向があることが示されている。 さらに、英語の弱さは多言語設定でさらに増幅される傾向にある。 それを研究するために、細かな視覚的詳細に焦点を当てた英語データセットであるInpaintCOCOを、5つの言語ファミリにまたがる13の類型的に多様な言語に拡張し、953の最小ペアの新たなマルチリンガルベンチマークであるMultiInpaintCOCOを作成しました。 VL CLIPライクエンコーダと大規模言語モデルの両方を考慮して,多言語マルチモーダル検索における最先端モデルの検証を行った。 以上の結果から,低リソース言語では性能が著しく低下していることが示唆された。 言語横断検索では、ほとんどのモデルは英語に対する体系的な偏見を示しており、非英語の正しいキャプションと英語の間違ったキャプションが与えられた場合、モデルは英語のキャプションを優先的に選択する。 このバイアスはアーキテクチャによって大きく異なります。 テストされたモデルの中で、Gemma 3は最も強い英語の好みを示し、Qwen 3は最もバイアスが小さい。 コードはhttps://github.com/ufal/multi-inpaint-coco.comで公開されている。

関連論文リスト

• uCLIP: Parameter-Efficient Multilingual Extension of Vision-Language Models with Unpaired Data [3.364569898365253]
  我々は多言語視覚言語アライメントのための軽量でデータ効率の良いフレームワークを提案する。 本手法では,画像テキストペアやテキストペアは必要とせず,事前訓練された画像エンコーダと多言語テキストエンコーダの両方を凍結する。 この最小限のトレーニング設定は、監督が限られている言語でも堅牢な多言語アライメントを可能にする。
  論文  参考訳（メタデータ） (2025-11-17T06:34:49Z)
• EfficientXLang: Towards Improving Token Efficiency Through Cross-Lingual Reasoning [12.511775058257328]
  推論において最もトークン効率のよい言語が英語かどうかを考察する。 非英語言語における推論はトークンの使用量を減少させるだけでなく、正確性も維持する。 改善の程度は、多言語強度のモデルに依存する。
  論文  参考訳（メタデータ） (2025-06-30T20:29:52Z)
• PALO: A Polyglot Large Multimodal Model for 5B People [23.839200109033538]
  より包括的な視覚言語モデル(VLM)を追求するために,PALOと呼ばれる大規模マルチモーダルモデルを導入する。 PALOは、英語、中国語、ヒンディー語、スペイン語、フランス語、アラビア語、ベンガル語、ロシア語、ウルドゥー語、日本語を含む10の主要言語で視覚的推論機能を提供する。
  論文  参考訳（メタデータ） (2024-02-22T18:59:58Z)
• Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon [78.12363425794214]
  私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。 文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-03T10:41:05Z)
• Crosslingual Generalization through Multitask Finetuning [80.8822603322471]
  マルチタスク誘導ファインタニング(MTF)は、大きな言語モデルがゼロショット設定で新しいタスクに一般化するのに役立つことが示されている。 MTFを事前訓練された多言語BLOOMおよびmT5モデルファミリーに適用し、BLOOMZおよびmT0と呼ばれる微調整された変種を生成する。 英語のプロンプトを用いた英語タスクにおける多言語多言語モデルの微調整により、非英語言語へのタスク一般化が可能となる。
  論文  参考訳（メタデータ） (2022-11-03T13:19:32Z)
• Multilingual BERT has an accent: Evaluating English influences on fluency in multilingual models [23.62852626011989]
  我々は,高次情報源言語における文法構造が低次情報源言語に肥大化したことを示す。 このバイアスは、多言語モデルの流布度とモノリンガルのスペイン語とギリシア語のモデルの流布度を比較する新しい方法によって示される。
  論文  参考訳（メタデータ） (2022-10-11T17:06:38Z)
• xGQA: Cross-Lingual Visual Question Answering [100.35229218735938]
  xGQAは視覚的質問応答タスクのための新しい多言語評価ベンチマークである。 確立された英語GQAデータセットを7言語に拡張する。 本稿では,マルチモーダルトランスフォーマーモデルに適応するアダプタベースの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:58:21Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。