論文の概要: Tackling Ambiguity with Images: Improved Multimodal Machine Translation and Contrastive Evaluation

• arxiv url: http://arxiv.org/abs/2212.10140v2
• Date: Fri, 26 May 2023 10:52:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 22:48:22.329154
• Title: Tackling Ambiguity with Images: Improved Multimodal Machine Translation and Contrastive Evaluation
• Title（参考訳）: 画像による曖昧さの解消:マルチモーダル機械翻訳の改善とコントラスト評価
• Authors: Matthieu Futeral, Cordelia Schmid, Ivan Laptev, Beno\^it Sagot, Rachel Bawden
• Abstract要約: 本稿では,ニューラルアダプターとガイド付き自己注意機構を用いた,強いテキストのみのMTモデルに基づく新しいMT手法を提案する。 また,不明瞭な文とその翻訳が可能なコントラスト型多モーダル翻訳評価セットであるCoMMuTEについても紹介する。 提案手法は, 標準英語-フランス語, 英語-ドイツ語, 英語-チェコ語のベンチマークにおいて, 強いテキストのみのモデルと比較して, 競争力のある結果が得られる。
• 参考スコア（独自算出の注目度）: 72.6667341525552
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: One of the major challenges of machine translation (MT) is ambiguity, which can in some cases be resolved by accompanying context such as images. However, recent work in multimodal MT (MMT) has shown that obtaining improvements from images is challenging, limited not only by the difficulty of building effective cross-modal representations, but also by the lack of specific evaluation and training data. We present a new MMT approach based on a strong text-only MT model, which uses neural adapters, a novel guided self-attention mechanism and which is jointly trained on both visually-conditioned masking and MMT. We also introduce CoMMuTE, a Contrastive Multilingual Multimodal Translation Evaluation set of ambiguous sentences and their possible translations, accompanied by disambiguating images corresponding to each translation. Our approach obtains competitive results compared to strong text-only models on standard English-to-French, English-to-German and English-to-Czech benchmarks and outperforms baselines and state-of-the-art MMT systems by a large margin on our contrastive test set. Our code and CoMMuTE are freely available.
• Abstract（参考訳）: 機械翻訳(mt)の最大の課題の1つは曖昧さであり、画像などのコンテキストを伴って解決できる場合もある。 しかし、近年のマルチモーダルMT(MMT)の研究は、画像から改善を得ることが困難であることを示しており、効果的なクロスモーダル表現を構築することの難しさだけでなく、特定の評価やトレーニングデータの欠如によって制限されている。 本稿では, ニューラルアダプター, ガイド付き自己注意機構, 視覚条件のマスキングとMTの両面を併用した, 強力なテキストのみのMTモデルに基づく新しいMT手法を提案する。 また,不明瞭な文とその可能な翻訳の対比多言語多モーダル翻訳評価セットであるcommutと,各翻訳に対応する画像の曖昧化を伴って紹介する。 提案手法は,標準の英語-フランス語,英語-ドイツ語,英語-チェコ語のベンチマークにおける強いテキストのみのモデルと比較して,競争力のある結果が得られる。 私たちのコードと通勤は無料で利用できる。

関連論文リスト

• Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
  本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。 我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。 本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
  論文  参考訳（メタデータ） (2024-07-18T15:20:31Z)
• TMT: Tri-Modal Translation between Speech, Image, and Text by Processing Different Modalities as Different Languages [96.8603701943286]
  Tri-Modal Translation (TMT) モデルは、音声、画像、テキストにまたがる任意のモダリティを翻訳する。 音声と画像データを個別のトークンにトークン化し、モダリティをまたいだ統一インターフェースを提供する。 TMTは単一モデルの性能を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-02-25T07:46:57Z)
• Revisiting Machine Translation for Cross-lingual Classification [91.43729067874503]
  この分野のほとんどの研究は、機械翻訳コンポーネントではなく多言語モデルに焦点を当てている。 より強力なMTシステムを用いて、原文のトレーニングと機械翻訳テキストの推論のミスマッチを緩和することにより、翻訳テストは以前想定していたよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-23T16:56:10Z)
• Beyond Triplet: Leveraging the Most Data for Multimodal Machine Translation [53.342921374639346]
  マルチモーダル機械翻訳は、視覚などの他のモーダルからの情報を取り入れることで、翻訳品質を向上させることを目的としている。 従来のMMTシステムは主に視覚情報へのアクセスと利用に重点を置いており、画像関連データセット上でそれらの手法を検証する傾向がある。 本稿では,MTのための新しい手法と新しいデータセットを確立する。
  論文  参考訳（メタデータ） (2022-12-20T15:02:38Z)
• STEMM: Self-learning with Speech-text Manifold Mixup for Speech Translation [37.51435498386953]
  本稿では,その差分を補正するSTEMM法を提案する。 MuST-C音声翻訳ベンチマークおよびさらなる解析実験により,本手法はモーダル表現の不一致を効果的に軽減することが示された。
  論文  参考訳（メタデータ） (2022-03-20T01:49:53Z)
• MCMI: Multi-Cycle Image Translation with Mutual Information Constraints [40.556049046897115]
  教師なし画像間翻訳のための相互情報に基づくフレームワークを提案する。 MCMIアプローチでは, 単一サイクル画像翻訳モデルを, 多サイクル翻訳設定で繰り返し使用可能なモジュールとして扱う。 MCMIでトレーニングしたモデルでは,高品質な画像が生成され,セマンティックなマッピングがより学習されることを示す。
  論文  参考訳（メタデータ） (2020-07-06T17:50:43Z)
• Unsupervised Multimodal Neural Machine Translation with Pseudo Visual Pivoting [105.5303416210736]
  非教師なし機械翻訳(MT)は、最近モノリンガルコーパスのみを用いて印象的な結果を得た。 ソースターゲットの文を潜時空間で関連付けることは依然として困難である。 異なる言語が生物学的に類似の視覚システムを共有しているため、視覚的コンテンツを通してより良いアライメントを達成する可能性は有望である。
  論文  参考訳（メタデータ） (2020-05-06T20:11:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。