論文の概要: Text-Only vs. Image-Aware VLM Judges for Manga Translation Evaluation

• arxiv url: http://arxiv.org/abs/2610.17908v1
• Date: Tue, 13 Oct 2026 07:59:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 08:14:29.884342
• Title: Text-Only vs. Image-Aware VLM Judges for Manga Translation Evaluation
• Title（参考訳）: マンガ翻訳評価のためのテキストオンリー対画像認識VLM判定器
• Abstract要約: マンガ翻訳では、音声・気泡テキスト以外の視覚的コンテキストをページイメージで表現する。 テキストのみの判断(TOJ)と画像認識の判断(IAJ)の両方と同じ視覚言語モデル(VLM)を用いた実用的検証フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.247507937352571
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In manga translation, visual context outside speech-bubble text, including speaker identities, referents, and scene tone, is depicted in page images, making it natural to refer to images during translation evaluation. However, most conventional manga translation evaluations rely solely on text-only automatic metrics, leaving the impact of image input insufficiently explored. We propose a practical validation framework that employs the same vision-language model (VLM) as both a text-only judge (TOJ) and an image-aware judge (IAJ) to investigate evaluation divergences associated with image-aware evaluation procedures. We use a Japanese-English manga dataset of official translations aligned at the page and speech-bubble levels. First, adding page images to TOJ improved the primary VLM's detection of deliberately injected, visually dependent degradations. Second, we analyzed evaluation divergences between TOJ and IAJ, finding different error counts and error-category distributions. Human verification did not reveal a consistent preference between TOJ and IAJ.
• Abstract（参考訳）: マンガ翻訳では、話者識別、レファレント、シーントーンを含む音声バブルテキスト以外の視覚的コンテキストがページイメージに描かれており、翻訳評価中に画像を参照することが自然である。 しかし、従来のマンガ翻訳評価はテキストのみによる自動計測にのみ依存しており、画像入力の影響は十分に調査されていない。 本稿では,テキストのみの判断法(TOJ)と画像認識の判定法(IAJ)の両方と同一の視覚言語モデル(VLM)を併用して,画像認識の評価方法に関連する相違について検討する実践的検証フレームワークを提案する。 日本語・英語のマンガデータセットを用いて,そのページと音声・気泡レベルに整列した公式翻訳を行う。 まず、TOJにページイメージを追加することで、故意に注入された視覚依存的な劣化の検出が改善された。 第2に,TOJ と IAJ の相違点を解析し,誤り数と誤りカテゴリー分布を解析した。 人間による検証は、TOJとIAJの間に一貫した選好を明らかにしなかった。

関連論文リスト

• Human-Grounded Calibration for Long-Text Image-Text Congruence in Vision-Language Models [46.28810845443601]
  長文画像-テキストの一致スコアリングは、視覚言語システムにとってますます重要になっている。 本稿では,画像-テキスト類似性証拠を有界スコアにマッピングする軽量キャリブレーション層である Congruency Score (CS) を提案する。
  論文  参考訳（メタデータ） (2026-09-14T14:26:53Z)
• Lost in Translation? Translation Errors and Challenges for Fair Assessment of Text-to-Image Models on Multilingual Concepts [107.32683485639654]
  テキスト・トゥ・イメージ(T2I)モデルの多言語能力のベンチマークは、テスト言語で生成された画像と概念集合上の期待画像分布を比較した。 このようなベンチマークの一つである"Conceptual Coverage Across Languages" (CoCo-CroLa)は、7つの言語に翻訳された概念リストから画像を生成するように促すことで、T2Iモデルの具体的な名詞の在庫を評価する。 このベンチマークは、スペイン語、日本語、中国語の様々な重大度の翻訳誤りを含むことがわかった。
  論文  参考訳（メタデータ） (2024-03-17T05:05:11Z)
• IRR: Image Review Ranking Framework for Evaluating Vision-Language Models [25.014419357308192]
  大規模ビジョンランゲージモデル(LVLM)は画像とテキストの両方を処理し、画像キャプションや記述生成などのマルチモーダルタスクに優れる。 IRR: Image Review Rankは,批判的レビューテキストを多視点から評価するための新しい評価フレームワークである。 我々は15のカテゴリの画像のデータセットを用いて評価し、それぞれに5つの批評家レビューテキストと、英語と日本語の注釈付きランキングがあり、合計2000以上のデータインスタンスがある。
  論文  参考訳（メタデータ） (2024-02-19T13:16:10Z)
• Mismatch Quest: Visual and Textual Feedback for Image-Text Misalignment [64.49170817854942]
  本稿では,検出されたテキストと画像のペア間の相違点の詳細な説明を行う。 我々は、大きな言語モデルと視覚的接地モデルを活用して、与えられた画像に対して妥当なキャプションを保持するトレーニングセットを自動構築する。 また,テキストと視覚的ミスアライメントアノテーションを組み合わせた新たな人為的なテストセットも公開する。
  論文  参考訳（メタデータ） (2023-12-05T20:07:34Z)
• Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
  ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。 既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。 我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T13:06:02Z)
• Scene Graph as Pivoting: Inference-time Image-free Unsupervised Multimodal Machine Translation with Visual Scene Hallucination [88.74459704391214]
  本研究では,より現実的なマルチモーダル機械翻訳(UMMT)について検討する。 視覚・言語シーングラフ(SG)を用いて,入力画像とテキストを表現し,その微細な視覚言語特徴が意味論の全体的理解を確実にする。 教師なし翻訳学習には,SG-pivotingに基づく学習目的がいくつか導入されている。 提案手法は,タスクとセットアップにおいて,BLEUスコアの有意な向上により,最良性能のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-20T18:17:20Z)
• Multimodal Neural Machine Translation with Search Engine Based Image Retrieval [4.662583832063716]
  バイリンガルパラレルコーパスのための記述画像収集のためのオープン語彙画像検索手法を提案する。 提案手法は,強いベースラインに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-07-26T08:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。