論文の概要: VISTA-Bench: Benchmarking Multilingual Image Translation with Image-Specific Rubrics

• arxiv url: http://arxiv.org/abs/2609.37287v1
• Date: Tue, 29 Sep 2026 11:30:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.44406
• Title: VISTA-Bench: Benchmarking Multilingual Image Translation with Image-Specific Rubrics
• Title（参考訳）: VISTA-Bench: 画像特化ルーブリックを用いた多言語画像翻訳のベンチマーク
• Abstract要約: VISTA-Benchを導入し、22の言語と10のドメインをカバーし、画像固有のルーリック評価プロトコルを開発した。 このベンチマークは、言語とシナリオのカバレッジのサンプリングと、関連するテキストをコヒーレントなセマンティックユニットにグループ化する、モデル支援の人間認証アノテーションを組み合わせる。 我々は、12のマルチモーダルモデルと4つのテキスト入力モデルを含む16の主流モデルの広範な評価を行い、言語、ドメイン、評価次元を体系的に分析する。
• 参考スコア（独自算出の注目度）: 12.515189893140493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image translation is a fundamental capability of multimodal models for multilingual applications, requiring visual understanding and meaning preservation across languages. However, existing benchmarks have limited language coverage and often lack explicit image-specific evaluation criteria, making it difficult to comprehensively assess this capability. To systematically evaluate this capability, we introduce VISTA-Bench, covering 22 languages and 10 domains, and develop an image-specific rubric evaluation protocol. The benchmark combines sampling for language and scenario coverage with model-assisted, human-verified annotations that group related text into coherent semantic units and provide multilingual reference translations. The rubrics specify essential content, semantic relations, and acceptable translation variants, yielding separate output-based scores for translation quality and the preservation of visual and knowledge-dependent information. We conduct extensive evaluations of 16 mainstream models, including 12 multimodal models and four text-input models, and provide systematic analyses across languages, domains, and evaluation dimensions.
• Abstract（参考訳）: 画像翻訳は多言語アプリケーションのためのマルチモーダルモデルの基本的な機能であり、言語間の視覚的理解と意味保存を必要とする。 しかし、既存のベンチマークは言語の範囲が限られており、画像固有の評価基準が欠如していることが多いため、この機能を総合的に評価することは困難である。 この能力を体系的に評価するために、22の言語と10のドメインをカバーするVISTA-Benchを導入し、画像固有のルーリック評価プロトコルを開発する。 このベンチマークは、言語とシナリオのカバレッジのサンプリングと、関連するテキストをコヒーレントなセマンティックユニットにグループ化し、多言語対応の参照翻訳を提供する、モデル支援の人間認証アノテーションを組み合わせる。 ルーブリックは、本質的な内容、意味的関係、許容される翻訳の変種を規定し、翻訳品質と視覚的および知識に依存した情報の保存のために別々に出力ベースのスコアを出力する。 我々は、12のマルチモーダルモデルと4つのテキスト入力モデルを含む16の主流モデルの広範な評価を行い、言語、ドメイン、評価次元を体系的に分析する。

関連論文リスト

• A Parallel Cross-Lingual Benchmark for Multimodal Idiomaticity Understanding [15.171586338601522]
  潜在的に慣用的な表現(PIE)は、言語コミュニティの日常的な経験と本質的に結びついている意味を解釈する。 XMPIEは,潜在的慣用的表現の並列多言語・マルチモーダルデータセットである。
  論文  参考訳（メタデータ） (2026-01-13T15:20:28Z)
• M3DR: Towards Universal Multilingual Multimodal Document Retrieval [0.0]
  M3DR(Multilingual Multimodal Document Retrieval)は,言語間のギャップを埋めるためのフレームワークである。 異なる視覚言語アーキテクチャとモデルサイズにまたがって一般化し、堅牢な言語間およびモーダル間のアライメントを可能にします。 我々のモデルであるNetraEmbedとColNetraEmbedは、言語間検索における150%の相対的な改善で最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2025-12-03T07:17:59Z)
• Multimodal Evaluation of Russian-language Architectures [88.00147763684451]
  本稿では,ロシアの建築におけるオープンなマルチモーダル評価フレームワークであるMera Multiを紹介する。 ベンチマークはインストラクションベースで、デフォルトのテキスト、画像、オーディオ、ビデオモダリティを含んでいる。 Mera Multiは、マルチモーダルベンチマークを構築するための複製可能な方法論を提供する。
  論文  参考訳（メタデータ） (2025-11-19T15:43:53Z)
• Towards Explainable Bilingual Multimodal Misinformation Detection and Localization [64.37162720126194]
  BiMiは、地域レベルのローカライゼーション、言語間および言語間整合性検出、誤情報解析のための自然言語説明を共同で行うフレームワークである。 BiMiBenchは、実際のニュース画像とサブタイトルを体系的に編集するベンチマークである。 BiMiは、分類精度が+8.9で、ローカライゼーション精度が+15.9で、BERTScoreを+2.5で上回る。
  論文  参考訳（メタデータ） (2025-06-28T15:43:06Z)
• Evaluation of Multilingual Image Captioning: How far can we get with CLIP models? [3.902360015414256]
  この研究は、多言語設定におけるCLIPScore変種の評価に関連する、いくつかの戦略と広範な実験を提示する。 機械翻訳データを用いたテストでは、多言語CLIPScoreモデルは、異なる言語にわたる人間の判断と高い相関を維持することができる。
  論文  参考訳（メタデータ） (2025-02-10T16:00:00Z)
• Multilingual Conceptual Coverage in Text-to-Image Models [98.80343331645626]
  コンセプチュアル・カバー・アクロス言語(Conceptual Coverage Across Languages, CoCo-CroLa)とは、任意の生成的テキスト・画像システムにおいて、有形名詞の観点から学習言語に多言語対応を提供する程度をベンチマークする手法である。 各モデルについて、ソースコード中の一連の有形名詞に生成される画像の集団と、対象言語に翻訳された各名詞に生成された画像の集団とを比較することにより、ソース言語に対して与えられた対象言語の「概念的カバレッジ」を評価することができる。
  論文  参考訳（メタデータ） (2023-06-02T17:59:09Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。