論文の概要: Impact of Visual Context on Noisy Multimodal NMT: An Empirical Study for English to Indian Languages
- arxiv url: http://arxiv.org/abs/2308.16075v2
- Date: Mon, 23 Jun 2025 19:07:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-25 19:48:23.189867
- Title: Impact of Visual Context on Noisy Multimodal NMT: An Empirical Study for English to Indian Languages
- Title（参考訳）: 雑音型マルチモーダルNMTにおける視覚的文脈の影響:インド語に対する英語の実証的研究
- Authors: Baban Gain, Dibyanayan Bandyopadhyay, Samrat Mukherjee, Chandranath Adak, Asif Ekbal,
- Abstract要約: 本研究では,大規模・事前学習型NMTシステムに付加された画像特徴が翻訳に与える影響について検討した。
この研究は英語からヒンディー語、ベンガル語、マラヤラム語に翻訳され、最先端のベンチマークを著しく上回っている。
これは、特にノイズの多い環境での視覚的コンテキストの役割に光を当て、ノイズの多いニューラルネットワーク翻訳のための新しい研究方向を開く。
- 参考スコア（独自算出の注目度）: 28.01188697443393
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Neural Machine Translation (NMT) has made remarkable progress using large-scale textual data, but the potential of incorporating multimodal inputs, especially visual information, remains underexplored in high-resource settings. While prior research has focused on using multimodal data in low-resource scenarios, this study examines how image features impact translation when added to a large-scale, pre-trained unimodal NMT system. Surprisingly, the study finds that images might be redundant in this context. Additionally, the research introduces synthetic noise to assess whether images help the model handle textual noise. Multimodal models slightly outperform text-only models in noisy settings, even when random images are used. The study's experiments translate from English to Hindi, Bengali, and Malayalam, significantly outperforming state-of-the-art benchmarks. Interestingly, the effect of visual context varies with the level of source text noise: no visual context works best for non-noisy translations, cropped image features are optimal for low noise, and full image features perform better in high-noise scenarios. This sheds light on the role of visual context, especially in noisy settings, and opens up a new research direction for Noisy Neural Machine Translation in multimodal setups. The research emphasizes the importance of combining visual and textual information to improve translation across various environments. Our code is publicly available at https://github.com/babangain/indicMMT.
- Abstract（参考訳）: ニューラルネットワーク翻訳(NMT)は、大規模なテキストデータを用いて目覚ましい進歩を遂げているが、マルチモーダル入力(特に視覚情報)を組み込むことの可能性は、高リソース環境ではまだ過小評価されている。
従来の研究では、低リソースシナリオにおけるマルチモーダルデータの利用に焦点が当てられていたが、大規模で事前訓練されたNMTシステムに付加された画像特徴が翻訳に与える影響について検討した。
驚くべきことに、この研究は、この文脈で画像が冗長であることを発見した。
さらに、合成ノイズを導入し、画像がテキストノイズを処理するのに役立つかどうかを評価する。
マルチモーダルモデルは、ランダムな画像を使用した場合でも、ノイズの多い設定でテキストのみのモデルをわずかに上回る。
この研究は英語からヒンディー語、ベンガル語、マラヤラム語に翻訳され、最先端のベンチマークを著しく上回っている。
興味深いことに、視覚的コンテキストの効果は、ソーステキストノイズのレベルによって異なる: ノイズのない翻訳には視覚的コンテキストが最適ではなく、トリミングされた画像特徴は低ノイズには最適であり、フルイメージ特徴は高雑音のシナリオではより良く機能する。
これは、特にノイズの多い環境での視覚的コンテキストの役割に光を当て、マルチモーダルな設定でノイズの多いニューラルネットワーク翻訳のための新しい研究方向を開く。
この研究は、様々な環境における翻訳を改善するために、視覚情報とテキスト情報を組み合わせることの重要性を強調している。
私たちのコードはhttps://github.com/babangain/indicMMT.comで公開されています。
関連論文リスト
- M2DF: Multi-grained Multi-curriculum Denoising Framework for Multimodal
Aspect-based Sentiment Analysis [32.9772577419091]
マルチモーダルAspect-based Sentiment Analysis (MABSA) はきめ細かな感性分析タスクである。
トレーニングデータの順序を調整することで,マルチグラニュアルなマルチキュリキュラム・デノナイジング・フレームワーク(M2DF)を提案する。
当社のフレームワークは,MABSAの3つのサブタスクにおける最先端の作業よりも一貫して優れています。
論文 参考訳（メタデータ） (2023-10-23T06:22:39Z) - Towards Better Multi-modal Keyphrase Generation via Visual Entity
Enhancement and Multi-granularity Image Noise Filtering [79.44443231700201]
マルチモーダルなキーフレーズ生成は、入力されたテキストイメージペアのコアポイントを表すキーフレーズのセットを作成することを目的としている。
入力されたテキストと画像はしばしば完全に一致しないので、画像はモデルにノイズをもたらす可能性がある。
本稿では,モデル入力を外部知識で豊かにするだけでなく,画像ノイズを効果的にフィルタする,新しいマルチモーダル・キーフレーズ生成モデルを提案する。
論文 参考訳（メタデータ） (2023-09-09T09:41:36Z) - Scene Graph as Pivoting: Inference-time Image-free Unsupervised
Multimodal Machine Translation with Visual Scene Hallucination [88.74459704391214]
本研究では,より現実的なマルチモーダル機械翻訳(UMMT)について検討する。
視覚・言語シーングラフ(SG)を用いて,入力画像とテキストを表現し,その微細な視覚言語特徴が意味論の全体的理解を確実にする。
教師なし翻訳学習には,SG-pivotingに基づく学習目的がいくつか導入されている。
提案手法は,タスクとセットアップにおいて,BLEUスコアの有意な向上により,最良性能のベースラインを上回ります。
論文 参考訳（メタデータ） (2023-05-20T18:17:20Z) - Cross-Lingual Cross-Modal Retrieval with Noise-Robust Learning [25.230786853723203]
低リソース言語に対するノイズローバストな言語間クロスモーダル検索手法を提案する。
低リソース言語のための擬似並列文ペアを構築するために,機械翻訳を用いる。
ノイズロスのターゲット言語表現を学習するための多視点自己蒸留法を提案する。
論文 参考訳（メタデータ） (2022-08-26T09:32:24Z) - Multimodal Neural Machine Translation with Search Engine Based Image
Retrieval [4.662583832063716]
バイリンガルパラレルコーパスのための記述画像収集のためのオープン語彙画像検索手法を提案する。
提案手法は,強いベースラインに対する大幅な改善を実現する。
論文 参考訳（メタデータ） (2022-07-26T08:42:06Z) - Vision Matters When It Should: Sanity Checking Multimodal Machine
Translation Models [25.920891392933058]
マルチモーダル機械翻訳(MMT)システムは、視覚的コンテキストが利用できる場合、テキストのみのニューラルネットワーク翻訳(NMT)よりも優れていることが示されている。
近年の研究では、MMTモデルの性能は、関連画像が非関連画像やノイズに置き換えられた場合にのみ、限界的に影響を受けることが示されている。
論文 参考訳（メタデータ） (2021-09-08T03:32:48Z) - MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase
Grounding [74.33171794972688]
本稿では,詳細な視覚表現と視覚認識言語表現を活用することで,句オブジェクトの関連性をモデル化するアルゴリズムを提案する。
広く採用されているFlickr30kデータセットで実施された実験は、既存の弱教師付き手法よりも大幅に改善されている。
論文 参考訳（メタデータ） (2020-10-12T00:43:52Z) - Unsupervised Multimodal Neural Machine Translation with Pseudo Visual
Pivoting [105.5303416210736]
非教師なし機械翻訳(MT)は、最近モノリンガルコーパスのみを用いて印象的な結果を得た。
ソースターゲットの文を潜時空間で関連付けることは依然として困難である。
異なる言語が生物学的に類似の視覚システムを共有しているため、視覚的コンテンツを通してより良いアライメントを達成する可能性は有望である。
論文 参考訳（メタデータ） (2020-05-06T20:11:46Z) - Robust Unsupervised Neural Machine Translation with Adversarial
Denoising Training [66.39561682517741]
unsupervised neural machine translation (UNMT) は機械翻訳コミュニティに大きな関心を集めている。
UNMTの主な利点は、必要な大規模な訓練用テキストの簡単な収集にある。
本稿では,UNMT ベースのシステムのロバスト性を改善するため,まずノイズを考慮に入れた。
論文 参考訳（メタデータ） (2020-02-28T05:17:55Z) - Informative Sample Mining Network for Multi-Domain Image-to-Image
Translation [101.01649070998532]
本稿では,画像から画像への翻訳作業において,サンプル選択戦略の改善が有効であることを示す。
本稿では,サンプルの硬さを抑えつつ,サンプルの硬さを抑えるための新しい多段階サンプルトレーニング手法を提案する。
論文 参考訳（メタデータ） (2020-01-05T05:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。