論文の概要: CaMMT: Benchmarking Culturally Aware Multimodal Machine Translation

• arxiv url: http://arxiv.org/abs/2505.24456v1
• Date: Fri, 30 May 2025 10:42:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.91158
• Title: CaMMT: Benchmarking Culturally Aware Multimodal Machine Translation
• Title（参考訳）: CaMMT: 文化的に認識されたマルチモーダル機械翻訳のベンチマーク
• Authors: Emilio Villa-Cueva, Sholpan Bolatzhanova, Diana Turmakhan, Kareem Elzeky, Henok Biadglign Ademtew, Alham Fikri Aji, Israel Abebe Azime, Jinheon Baek, Frederico Belcavello, Fermin Cristobal, Jan Christian Blaise Cruz, Mary Dabre, Raj Dabre, Toqeer Ehsan, Naome A Etori, Fauzan Farooqui, Jiahui Geng, Guido Ivetta, Thanmay Jayakumar, Soyeong Jeong, Zheng Wei Lim, Aishik Mandal, Sofia Martinelli, Mihail Minkov Mihaylov, Daniil Orel, Aniket Pramanick, Sukannya Purkayastha, Israfel Salazar, Haiyue Song, Tiago Timponi Torrent, Debela Desalegn Yadeta, Injy Hamed, Atnafu Lambebo Tonja, Thamar Solorio,
• Abstract要約: 本稿では,5800枚以上の画像のベンチマークであるCaMMTと,英語と地域語でのパラレルキャプションを紹介する。 視覚的文脈は一般的に翻訳の質を向上し、特に文化特色項目(CSI)を扱い、性別の使い方を正す。
• 参考スコア（独自算出の注目度）: 25.213316704661352
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Cultural content poses challenges for machine translation systems due to the differences in conceptualizations between cultures, where language alone may fail to convey sufficient context to capture region-specific meanings. In this work, we investigate whether images can act as cultural context in multimodal translation. We introduce CaMMT, a human-curated benchmark of over 5,800 triples of images along with parallel captions in English and regional languages. Using this dataset, we evaluate five Vision Language Models (VLMs) in text-only and text+image settings. Through automatic and human evaluations, we find that visual context generally improves translation quality, especially in handling Culturally-Specific Items (CSIs), disambiguation, and correct gender usage. By releasing CaMMT, we aim to support broader efforts in building and evaluating multimodal translation systems that are better aligned with cultural nuance and regional variation.
• Abstract（参考訳）: 文化コンテンツは、言語だけでは地域固有の意味を捉えるのに十分な文脈を伝えられない文化間の概念化の違いにより、機械翻訳システムに挑戦する。 本研究では,マルチモーダル翻訳において,画像が文化的文脈として機能するかどうかを検討する。 我々は,5,800枚以上の画像と,英語と地域言語におけるパラレルキャプションのベンチマークであるCaMMTを紹介した。 このデータセットを用いて、5つの視覚言語モデル(VLM)をテキストのみとテキスト+イメージ設定で評価する。 自動的・人的評価により、視覚的文脈は一般的に翻訳の質を向上し、特に文化特化項目(CSI)の扱い、曖昧さ、性的使用の正しさが向上することがわかった。 CaMMTをリリースすることで、文化のニュアンスや地域の変化に適合した多モーダル翻訳システムの構築と評価に幅広い取り組みを支援することを目指している。

関連論文リスト

• MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [26.806566827956875]
  MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。 モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。 オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
  論文  参考訳（メタデータ） (2025-05-27T19:29:40Z)
• TCC-Bench: Benchmarking the Traditional Chinese Culture Understanding Capabilities of MLLMs [13.069833806549914]
  中国伝統文化理解ベンチマーク(TCC-Bench)を提案する。 TCC-Benchは、文化的に豊かで視覚的に多様なデータで構成されており、博物館の工芸品、日常の生活シーン、漫画、その他の文化的に重要な文脈の画像が組み込まれている。 テキストのみのモードでGPT-4oを利用する半自動パイプラインを採用し、候補問題を生成し、続いて人間によるキュレーションを行い、データ品質を保証し、潜在的なデータ漏洩を回避する。
  論文  参考訳（メタデータ） (2025-05-16T14:10:41Z)
• An image speaks a thousand words, but can everyone listen? On image transcreation for cultural relevance [53.974497865647336]
  われわれは、画像の翻訳を文化的に意味のあるものにするための第一歩を踏み出した。 タスクを行うために、最先端の生成モデルからなる3つのパイプラインを構築します。 我々は,翻訳画像の人間による評価を行い,文化的意義と保存の意味を評価する。
  論文  参考訳（メタデータ） (2024-04-01T17:08:50Z)
• Benchmarking Machine Translation with Cultural Awareness [50.183458829028226]
  文化関連コンテンツの翻訳は、効果的な異文化間コミュニケーションに不可欠である。 多くの文化特化項目(CSI)は言語間の翻訳を欠いていることが多い。 この難しさは機械翻訳システムの文化的意識の分析を妨げる。
  論文  参考訳（メタデータ） (2023-05-23T17:56:33Z)
• Tackling Ambiguity with Images: Improved Multimodal Machine Translation and Contrastive Evaluation [72.6667341525552]
  本稿では,ニューラルアダプターとガイド付き自己注意機構を用いた,強いテキストのみのMTモデルに基づく新しいMT手法を提案する。 また,不明瞭な文とその翻訳が可能なコントラスト型多モーダル翻訳評価セットであるCoMMuTEについても紹介する。 提案手法は, 標準英語-フランス語, 英語-ドイツ語, 英語-チェコ語のベンチマークにおいて, 強いテキストのみのモデルと比較して, 競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2022-12-20T10:18:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。