論文の概要: Improving Visual Sensitivity of LLMs on Multimodal Machine Translation with Metric-based Loss Weighting

• arxiv url: http://arxiv.org/abs/2609.31169v1
• Date: Fri, 25 Sep 2026 11:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.373573
• Title: Improving Visual Sensitivity of LLMs on Multimodal Machine Translation with Metric-based Loss Weighting
• Title（参考訳）: メトリベース損失重み付きマルチモーダル機械翻訳におけるLCMの視覚感度向上
• Abstract要約: メトリックベースのLoss Weightingは、付随する画像の恩恵を受けるトークンの損失関数を増大させることで、翻訳の視覚的グラウンド化を改善する。 我々は,3つの言語方向のイメージ誘導機械翻訳作業において,事前学習した3つの多モーダル大言語モデルを微調整して評価する。
• 参考スコア（独自算出の注目度）: 10.79036985101123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Machine Translation aims to incorporate additional signal from non-textual modalities to improve translations by resolving ambiguities. While models, through multimodal fusion, are able to accept images related to the source text, they can ignore this information. Therefore, increasing their visual sensitivity remains an active research area. In this work, we introduce a training method, Metric-based Loss Weighting, that improves visual grounding of translations by increasing the loss function for tokens that benefit from the accompanying image. We identify these tokens using the Point-wise Cross-mutual Information (PCXMI) metric, which compares the model's output probabilities with and without visual context. We introduce a Congruency-based PCXMI metric and experimentally show that both metrics working in combination yield the best results. We evaluate our method by fine-tuning three pretrained Multimodal Large Language Models on the task of Image-guided Machine Translation for three language directions. Metric-based Loss Weighting outperforms other tested methods on the CoMMuTE contrastive dataset, improving accuracy by up to more than 7 percentage points compared to standard fine-tuning, while maintaining strong general translation performance.
• Abstract（参考訳）: マルチモーダル機械翻訳は、曖昧さを解消して翻訳を改善するために、非テキストモーダルからの付加的な信号を統合することを目的としている。 モデルは、マルチモーダル融合により、ソーステキストに関連する画像を受け入れることができるが、これらの情報は無視することができる。 そのため、視覚感度の向上は依然として活発な研究領域である。 本研究では,対応する画像から恩恵を受けるトークンの損失関数を増大させることにより,翻訳の視覚的グラウンド化を改善する,メトリックベースのロス重み付け(Loss Weighting)というトレーニング手法を提案する。 我々はこれらのトークンをポイントワイド・クロスミューチュアル・インフォメーション(PCXMI)メトリックを用いて識別し、モデル出力確率と視覚的コンテキストの有無を比較した。 並列性に基づくPCXMI測度を導入し、両測度の組み合わせが最良の結果をもたらすことを実験的に示す。 我々は,3つの言語方向のイメージ誘導機械翻訳作業において,事前学習した3つの多モーダル大言語モデルを微調整して評価する。 メトリックベースのLoss Weightingは、CoMMuTEのコントラストデータセット上の他のテスト手法よりも優れており、標準的な微調整に比べて最大7%の精度向上を実現し、高い一般翻訳性能を維持している。

関連論文リスト

• Comparative Evaluation of Machine Translation Systems on Images with Text [0.7933039558471405]
  この研究では、テキスト検出、認識、翻訳を分離するモジュールパイプライン、画像とテキストを共同で処理できるマルチモーダル大言語モデル(MLLM)、翻訳画像を直接生成するエンドツーエンドモデルであるTranslatotron-Vの3つのパラダイムを比較した。
  論文  参考訳（メタデータ） (2026-05-28T07:06:15Z)
• CoLLM: A Large Language Model for Composed Image Retrieval [76.29725148964368]
  Composed Image Retrieval (CIR)は、マルチモーダルクエリに基づいた画像検索を目的とした複雑なタスクである。 本稿では,イメージキャプションペアからトリプレットをオンザフライで生成するワンストップフレームワークであるCoLLMを提案する。 我々はLarge Language Models (LLMs) を利用して参照画像の埋め込みと修正テキストを生成する。
  論文  参考訳（メタデータ） (2025-03-25T17:59:50Z)
• Exploring the Necessity of Visual Modality in Multimodal Machine Translation using Authentic Datasets [3.54128607634285]
  実世界の翻訳データセットを活用し,視覚的モダリティが翻訳効率に与える影響について検討した。 視覚的モダリティは、実際の翻訳データセットの大部分に有利であることが判明した。 以上の結果から,視覚情報は多モーダル翻訳における補助的役割を担っていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-09T08:19:10Z)
• Beyond Triplet: Leveraging the Most Data for Multimodal Machine Translation [53.342921374639346]
  マルチモーダル機械翻訳は、視覚などの他のモーダルからの情報を取り入れることで、翻訳品質を向上させることを目的としている。 従来のMMTシステムは主に視覚情報へのアクセスと利用に重点を置いており、画像関連データセット上でそれらの手法を検証する傾向がある。 本稿では,MTのための新しい手法と新しいデータセットを確立する。
  論文  参考訳（メタデータ） (2022-12-20T15:02:38Z)
• Tackling Ambiguity with Images: Improved Multimodal Machine Translation and Contrastive Evaluation [72.6667341525552]
  本稿では,ニューラルアダプターとガイド付き自己注意機構を用いた,強いテキストのみのMTモデルに基づく新しいMT手法を提案する。 また,不明瞭な文とその翻訳が可能なコントラスト型多モーダル翻訳評価セットであるCoMMuTEについても紹介する。 提案手法は, 標準英語-フランス語, 英語-ドイツ語, 英語-チェコ語のベンチマークにおいて, 強いテキストのみのモデルと比較して, 競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2022-12-20T10:18:18Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。