論文の概要: Exploring the Necessity of Visual Modality in Multimodal Machine Translation using Authentic Datasets

• arxiv url: http://arxiv.org/abs/2404.06107v1
• Date: Tue, 9 Apr 2024 08:19:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 15:29:31.358536
• Title: Exploring the Necessity of Visual Modality in Multimodal Machine Translation using Authentic Datasets
• Title（参考訳）: 認証データセットを用いたマルチモーダル機械翻訳における視覚的モダリティの必要性の探索
• Authors: Zi Long, Zhenhao Tang, Xianghua Fu, Jian Chen, Shilong Hou, Jinze Lyu,
• Abstract要約: 実世界の翻訳データセットを活用し,視覚的モダリティが翻訳効率に与える影響について検討した。 視覚的モダリティは、実際の翻訳データセットの大部分に有利であることが判明した。 以上の結果から,視覚情報は多モーダル翻訳における補助的役割を担っていることが示唆された。
• 参考スコア（独自算出の注目度）: 3.54128607634285
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Recent research in the field of multimodal machine translation (MMT) has indicated that the visual modality is either dispensable or offers only marginal advantages. However, most of these conclusions are drawn from the analysis of experimental results based on a limited set of bilingual sentence-image pairs, such as Multi30k. In these kinds of datasets, the content of one bilingual parallel sentence pair must be well represented by a manually annotated image, which is different from the real-world translation scenario. In this work, we adhere to the universal multimodal machine translation framework proposed by Tang et al. (2022). This approach allows us to delve into the impact of the visual modality on translation efficacy by leveraging real-world translation datasets. Through a comprehensive exploration via probing tasks, we find that the visual modality proves advantageous for the majority of authentic translation datasets. Notably, the translation performance primarily hinges on the alignment and coherence between textual and visual contents. Furthermore, our results suggest that visual information serves a supplementary role in multimodal translation and can be substituted.
• Abstract（参考訳）: マルチモーダル機械翻訳(MMT)の分野における最近の研究は、視覚的モダリティが許容可能であるか、限界的な優位性しか提供していないことを示唆している。 しかし、これらの結論のほとんどは、Multi30kのようなバイリンガルな文-画像対の限られたセットに基づく実験結果の分析から導かれる。 このようなデータセットでは、1つのバイリンガル並列文ペアの内容は、実際の翻訳シナリオとは異なる手動の注釈付き画像で表現されなければならない。 本研究では,Tang et al (2022) が提唱した普遍的マルチモーダル機械翻訳の枠組みに固執する。 このアプローチにより,実世界の翻訳データセットを活用することで,視覚的モダリティが翻訳効率に与える影響を探索することができる。 探索タスクによる包括的探索により、視覚的モダリティは、実際の翻訳データセットの大部分に有利であることが判明した。 特に、翻訳性能は、主にテキストコンテンツと視覚コンテンツ間のアライメントとコヒーレンスに依存している。 さらに, 視覚情報は多モーダル翻訳における補助的役割を担い, 代用できる可能性が示唆された。

関連論文リスト

• Dual-view Curricular Optimal Transport for Cross-lingual Cross-modal Retrieval [57.98555925471121]
  言語間のクロスモーダル検索が注目を集めている。 ほとんどのCCR手法は、機械翻訳を通して擬似並列視覚言語コーパスを構成する。 本稿では,CCRにおける雑音対応学習のためのDual-view Curricular Optimal Transport (DCOT)を提案する。
  論文  参考訳（メタデータ） (2023-09-11T13:44:46Z)
• Scene Graph as Pivoting: Inference-time Image-free Unsupervised Multimodal Machine Translation with Visual Scene Hallucination [88.74459704391214]
  本研究では,より現実的なマルチモーダル機械翻訳(UMMT)について検討する。 視覚・言語シーングラフ(SG)を用いて,入力画像とテキストを表現し,その微細な視覚言語特徴が意味論の全体的理解を確実にする。 教師なし翻訳学習には,SG-pivotingに基づく学習目的がいくつか導入されている。 提案手法は,タスクとセットアップにおいて,BLEUスコアの有意な向上により,最良性能のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-20T18:17:20Z)
• Beyond Triplet: Leveraging the Most Data for Multimodal Machine Translation [53.342921374639346]
  マルチモーダル機械翻訳は、視覚などの他のモーダルからの情報を取り入れることで、翻訳品質を向上させることを目的としている。 従来のMMTシステムは主に視覚情報へのアクセスと利用に重点を置いており、画像関連データセット上でそれらの手法を検証する傾向がある。 本稿では,MTのための新しい手法と新しいデータセットを確立する。
  論文  参考訳（メタデータ） (2022-12-20T15:02:38Z)
• Multimodal Neural Machine Translation with Search Engine Based Image Retrieval [4.662583832063716]
  バイリンガルパラレルコーパスのための記述画像収集のためのオープン語彙画像検索手法を提案する。 提案手法は,強いベースラインに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-07-26T08:42:06Z)
• VALHALLA: Visual Hallucination for Machine Translation [64.86515924691899]
  VALHALLAと呼ばれる視覚幻覚フレームワークを導入する。 推論時にのみソース文を必要とし、代わりにマルチモーダル機械翻訳に幻覚的視覚表現を使用する。 特に、ソース文が与えられた場合、入力テキストから離散的な視覚表現を予測するために自己回帰幻覚変換器が使用される。
  論文  参考訳（メタデータ） (2022-05-31T20:25:15Z)
• ViTA: Visual-Linguistic Translation by Aligning Object Tags [7.817598216459955]
  マルチモーダル機械翻訳(Multimodal Machine Translation、MMT)は、翻訳のための視覚情報でソーステキストを豊かにする。 本稿では,WAT 2021の多モーダル翻訳タスクを英語からヒンディー語に翻訳するシステムを提案する。
  論文  参考訳（メタデータ） (2021-06-01T06:19:29Z)
• Simultaneous Machine Translation with Visual Context [42.88121241096681]
  同時機械翻訳(SiMT)は、連続的な入力テキストストリームを低レイテンシで最高の品質で別の言語に変換することを目的としている。 我々は、様々なマルチモーダルアプローチと視覚的特徴が最先端のSiMTフレームワークに与える影響を分析する。
  論文  参考訳（メタデータ） (2020-09-15T18:19:11Z)
• Unsupervised Multimodal Neural Machine Translation with Pseudo Visual Pivoting [105.5303416210736]
  非教師なし機械翻訳(MT)は、最近モノリンガルコーパスのみを用いて印象的な結果を得た。 ソースターゲットの文を潜時空間で関連付けることは依然として困難である。 異なる言語が生物学的に類似の視覚システムを共有しているため、視覚的コンテンツを通してより良いアライメントを達成する可能性は有望である。
  論文  参考訳（メタデータ） (2020-05-06T20:11:46Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。