論文の概要: ImgMT: Wikipedia-based Dataset For Evaluating Text-in-Image Translation

• arxiv url: http://arxiv.org/abs/2610.35416v1
• Date: Mon, 26 Oct 2026 13:26:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.007904
• Title: ImgMT: Wikipedia-based Dataset For Evaluating Text-in-Image Translation
• Title（参考訳）: ImgMT: 画像中のテキスト翻訳を評価するWikipediaベースのデータセット
• Abstract要約: ウィキメディア・コモンズ(Wikimedia Commons)の局所的なSVG図面から抽出した膨大な多言語データセットとベンチマークであるImgMTを紹介する。 ImgMTには、1,855のイメージセットにグループ化された35,612のアライメントイメージペアがあり、129の言語、20以上の書き込みシステム、4,886の言語ペアがある。 本稿では,ソース側テキスト領域検出とOCR精度を目標側翻訳品質とともに測定するマルチレベル評価プロトコルを提案する。
• 参考スコア（独自算出の注目度）: 2.49686075126695
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Text-in-image translation aims to translate all textual content embedded in an image. In Text Image Translation (TIT), the output is translated text; In-Image Machine Translation (IIMT) additionally renders the translation back into the image. We introduce ImgMT, a massively multilingual dataset and benchmark mined from localized SVG illustrations on Wikimedia Commons, focusing on diagrams, maps, and infographics. ImgMT contains 35,612 aligned image pairs grouped into 1,855 image sets, spanning 129 languages, 20+ writing systems, and 4,886 language pairs. We propose a multi-level evaluation protocol that measures source-side text-region detection and OCR accuracy alongside target-side translation quality. We benchmark several multimodal large language models and a dedicated TIT system in English->X and X->English settings, and find that the source language and writing system substantially affect TIT quality. Finally, we show that ImgMT is not well suited for isolating the contribution of visual information in multimodal translation.
• Abstract（参考訳）: Text-in-image Translationは、画像に埋め込まれたすべてのテキストコンテンツを翻訳することを目的としている。 テキスト画像変換(TIT)では、出力はテキストに変換される。 ウィキメディア・コモンズ(Wikimedia Commons)のローカライズされたSVGイラストから抽出した膨大な多言語データセットとベンチマークであるImgMTを導入し、図、地図、インフォグラフィックに焦点を当てた。 ImgMTには、1,855のイメージセットにグループ化された35,612のアライメントイメージペアがあり、129の言語、20以上の書き込みシステム、4,886の言語ペアがある。 本稿では,ソース側テキスト領域検出とOCR精度を目標側翻訳品質とともに測定するマルチレベル評価プロトコルを提案する。 我々は、複数のマルチモーダルな大規模言語モデルと専用のTITシステムを英語・X・X・英語設定でベンチマークし、ソース言語と記述システムがTITの品質に大きく影響することを発見した。 最後に,ImgMTは多モーダル翻訳における視覚情報の寄与を分離するのに適していないことを示す。

関連論文リスト

• PATIMT-Bench: A Multi-Scenario Benchmark for Position-Aware Text Image Machine Translation in Large Vision-Language Models [32.38746546500033]
  Text Image Machine Translation (TIMT) は、画像内に埋め込まれたテキストを別の言語に翻訳することを目的としている。 従来のTIMTを位置認識型TIMT(PATIMT)に拡張し,細粒度・レイアウト保存型翻訳を支援する。 PATIMTベンチマーク (PATIMTBench) を構築する。 具体的には、シナリオに基づいて適切なOCRツールを適応的に選択するAdaptive Image OCR Refinement Pipelineを紹介する。
  論文  参考訳（メタデータ） (2025-09-14T08:33:23Z)
• PRIM: Towards Practical In-Image Multilingual Machine Translation [48.357528732061105]
  In-Image Machine Translation (IIMT)は、ある言語から別の言語へのテキストを含む画像を翻訳することを目的としている。 エンド・ツー・エンドIIMTの最近の研究は、単純な背景、単一のフォント、固定テキスト位置、バイリンガル翻訳を持つ合成データに頼っている。 本稿では,PRIMにおける実用条件の課題に対応するために,エンドツーエンドのVisTransモデルを提案する。
  論文  参考訳（メタデータ） (2025-09-05T14:38:07Z)
• AnyTrans: Translate AnyText in the Image with Large Scale Models [88.5887934499388]
  本稿では、画像中のタスク翻訳AnyText(TATI)のためのオール・エンコンパス・フレームワークであるAnyTransを紹介する。 我々のフレームワークは、翻訳中にテキスト要素と視覚要素の両方から文脈的手がかりを取り入れている。 6つの言語対の多言語テキスト画像翻訳データからなるMTIT6というテストデータセットを精巧にコンパイルした。
  論文  参考訳（メタデータ） (2024-06-17T11:37:48Z)
• OmniCorpus: A Unified Multimodal Corpus of 10 Billion-Level Images Interleaved with Text [112.60163342249682]
  我々は100億規模の画像テキストインターリーブデータセットであるOmniCorpusを紹介する。 私たちのデータセットは、優れたデータ品質を維持しながら、15倍のスケールを持っています。 これが将来のマルチモーダルモデル研究に確かなデータ基盤を提供することを期待しています。
  論文  参考訳（メタデータ） (2024-06-12T17:01:04Z)
• TextCoT: Zoom In for Enhanced Multimodal Text-Rich Image Understanding [91.30065932213758]
  大規模マルチモーダルモデル(LMM)は、その顕著な推論能力を活用することを目的とした研究の急増を引き起こした。 テキストリッチな画像理解のための新しいChain-of-ThoughtフレームワークであるTextCoTを提案する。 私たちのメソッドは追加のトレーニングが不要で、即時プラグアンドプレイ機能を提供します。
  論文  参考訳（メタデータ） (2024-04-15T13:54:35Z)
• Exploring Better Text Image Translation with Multimodal Codebook [39.12169843196739]
  テキスト画像翻訳(TIT)は、画像に埋め込まれたソーステキストをターゲット翻訳に変換することを目的としている。 本研究ではまず,中国語のTITデータセットOCRMT30Kに注釈を付け,その後の研究に便宜を提供する。 そこで本研究では,画像と関連するテキストを関連付けることができるマルチモーダルコードブックを用いたTITモデルを提案する。 本稿では,テキスト機械翻訳,画像テキストアライメント,TITタスクを含む多段階学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-27T08:41:18Z)
• WIT: Wikipedia-based Image Text Dataset for Multimodal Multilingual Machine Learning [19.203716881791312]
  ウィキペディアベースの画像テキスト(WIT)データセットを紹介する。 witは3760万のエンティティリッチな画像テキスト例のキュレーションセットで構成されており、108のwikipedia言語で1150万のユニークな画像がある。 WITは3倍の画像-テキストサンプル数で最大のマルチモーダルデータセットです。
  論文  参考訳（メタデータ） (2021-03-02T18:13:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。