論文の概要: Unsupervised Multimodal Neural Machine Translation with Pseudo Visual Pivoting

• arxiv url: http://arxiv.org/abs/2005.03119v1
• Date: Wed, 6 May 2020 20:11:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 04:47:08.090554
• Title: Unsupervised Multimodal Neural Machine Translation with Pseudo Visual Pivoting
• Title（参考訳）: Pseudo Visual Pivoting を用いた教師なしマルチモーダルニューラルマシン翻訳
• Authors: Po-Yao Huang, Junjie Hu, Xiaojun Chang, Alexander Hauptmann
• Abstract要約: 非教師なし機械翻訳(MT)は、最近モノリンガルコーパスのみを用いて印象的な結果を得た。 ソースターゲットの文を潜時空間で関連付けることは依然として困難である。 異なる言語が生物学的に類似の視覚システムを共有しているため、視覚的コンテンツを通してより良いアライメントを達成する可能性は有望である。
• 参考スコア（独自算出の注目度）: 105.5303416210736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised machine translation (MT) has recently achieved impressive results with monolingual corpora only. However, it is still challenging to associate source-target sentences in the latent space. As people speak different languages biologically share similar visual systems, the potential of achieving better alignment through visual content is promising yet under-explored in unsupervised multimodal MT (MMT). In this paper, we investigate how to utilize visual content for disambiguation and promoting latent space alignment in unsupervised MMT. Our model employs multimodal back-translation and features pseudo visual pivoting in which we learn a shared multilingual visual-semantic embedding space and incorporate visually-pivoted captioning as additional weak supervision. The experimental results on the widely used Multi30K dataset show that the proposed model significantly improves over the state-of-the-art methods and generalizes well when the images are not available at the testing time.
• Abstract（参考訳）: 非教師なし機械翻訳(MT)は、最近モノリンガルコーパスのみを用いて印象的な結果を得た。 しかし、ソースターゲット文を潜在空間で関連付けることは依然として困難である。 異なる言語が生物学的に類似の視覚システムを共有しているため、視覚的コンテンツを通してより良いアライメントを達成する可能性は、教師なしマルチモーダルMT(MMT)において未探索である。 本稿では,教師なしMTにおいて,視覚的コンテンツを不明瞭化や遅延空間アライメントの促進に利用する方法について検討する。 本モデルでは,マルチモーダルなバックトランスレーションを用い,仮想視覚ピボットを特徴とし,共用多言語視覚意味埋め込み空間を学習し,視覚言語キャプションを付加的な弱い監督として取り入れる。 広範に使用されているMulti30Kデータセットの実験結果から,提案モデルは最先端の手法よりも大幅に改善され,テスト時に画像が利用できない場合の一般化が図られた。

関連論文リスト

• 3AM: An Ambiguity-Aware Multi-Modal Machine Translation Dataset [90.95948101052073]
  英語と中国語で26,000のパラレル文対からなる曖昧性を考慮したMMTデータセットである3AMを導入する。 我々のデータセットは、他のMTデータセットよりもあいまいで、キャプションと画像の両方が多種多様であるように設計されています。 実験の結果,我々のデータセットでトレーニングしたMTモデルは,他のMTデータセットでトレーニングしたMTモデルよりも視覚情報を活用する能力が高いことがわかった。
  論文  参考訳（メタデータ） (2024-04-29T04:01:30Z)
• Exploring the Necessity of Visual Modality in Multimodal Machine Translation using Authentic Datasets [3.54128607634285]
  実世界の翻訳データセットを活用し,視覚的モダリティが翻訳効率に与える影響について検討した。 視覚的モダリティは、実際の翻訳データセットの大部分に有利であることが判明した。 以上の結果から,視覚情報は多モーダル翻訳における補助的役割を担っていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-09T08:19:10Z)
• CLIPTrans: Transferring Visual Knowledge with Pre-trained Models for Multimodal Machine Translation [31.911593690549633]
  マルチモーダル機械翻訳(MMT)システムは、視覚的知識でニューラルネットワーク翻訳(NMT)を強化する。 注釈付き多言語視覚言語データが不足しているため、従来の作業は、強力なMTTモデルをゼロからトレーニングする際の課題に直面していた。 独立に訓練されたマルチモーダルM-CLIPと多言語mBARTを適応させるCLIPTransを提案する。
  論文  参考訳（メタデータ） (2023-08-29T11:29:43Z)
• Scene Graph as Pivoting: Inference-time Image-free Unsupervised Multimodal Machine Translation with Visual Scene Hallucination [88.74459704391214]
  本研究では,より現実的なマルチモーダル機械翻訳(UMMT)について検討する。 視覚・言語シーングラフ(SG)を用いて,入力画像とテキストを表現し,その微細な視覚言語特徴が意味論の全体的理解を確実にする。 教師なし翻訳学習には,SG-pivotingに基づく学習目的がいくつか導入されている。 提案手法は,タスクとセットアップにおいて,BLEUスコアの有意な向上により,最良性能のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-20T18:17:20Z)
• Tackling Ambiguity with Images: Improved Multimodal Machine Translation and Contrastive Evaluation [72.6667341525552]
  本稿では,ニューラルアダプターとガイド付き自己注意機構を用いた,強いテキストのみのMTモデルに基づく新しいMT手法を提案する。 また,不明瞭な文とその翻訳が可能なコントラスト型多モーダル翻訳評価セットであるCoMMuTEについても紹介する。 提案手法は, 標準英語-フランス語, 英語-ドイツ語, 英語-チェコ語のベンチマークにおいて, 強いテキストのみのモデルと比較して, 競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2022-12-20T10:18:18Z)
• LVP-M3: Language-aware Visual Prompt for Multilingual Multimodal Machine Translation [94.33019040320507]
  マルチモーダル機械翻訳(MMT)は、視覚的特徴を持つテキストのみの翻訳を強化することに焦点を当てている。 最近の進歩は、各言語ペアごとに別々のモデルをトレーニングすることに苦慮している。 7つの言語をカバーする2つのMultilingual MMTベンチマークデータセットを確立することで,Multilingual MMTタスクを提案する。
  論文  参考訳（メタデータ） (2022-10-19T12:21:39Z)
• A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation [131.33610549540043]
  NMTのための新しいグラフベースのマルチモーダル核融合エンコーダを提案する。 まず、統合マルチモーダルグラフを用いて、入力文と画像を表す。 次に、複数のグラフベースのマルチモーダル融合層を積み重ねて、ノード表現を学習するためのセマンティックな相互作用を反復的に実行する。
  論文  参考訳（メタデータ） (2020-07-17T04:06:09Z)
• Towards Multimodal Simultaneous Neural Machine Translation [28.536262015508722]
  同時翻訳では、リアルタイム理解を実現するために、話者の発話が完了する前に文章を翻訳する。 このタスクは、復号時に入力情報が不足しているため、一般的な全文翻訳よりもはるかに難しい。 視覚情報を付加的なモダリティとして活用するマルチモーダル同時ニューラルネットワーク翻訳(MSNMT)を提案する。
  論文  参考訳（メタデータ） (2020-04-07T08:02:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。