論文の概要: The Case for Evaluating Multimodal Translation Models on Text Datasets
- arxiv url: http://arxiv.org/abs/2403.03014v1
- Date: Tue, 5 Mar 2024 14:49:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 14:30:23.737016
- Title: The Case for Evaluating Multimodal Translation Models on Text Datasets
- Title(参考訳): テキストデータセットにおけるマルチモーダル翻訳モデルの評価事例
- Authors: Vipin Vijayan, Braeden Bowen, Scott Grigsby, Timothy Anderson, and
Jeremy Gwinnup
- Abstract要約: マルチモーダル機械翻訳モデルは、視覚情報の利用と複雑な文の翻訳能力を測定することで評価されるべきである。
MMTの現在の作業のほとんどは、これらの特性を計測しないMulti30kテストセットに対して評価されている。
我々は,1)MMTモデルによる視覚情報の利用を測定するCoMMuTE評価フレームワーク,2)複雑な文に対する翻訳性能を評価するテキストのみのWMTニュース翻訳タスクテストセット,3)Multi30kテストセットを用いて,MMTモデルの性能を実MMTデータセットに対して測定する。
- 参考スコア(独自算出の注目度): 1.6192978014459543
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: A good evaluation framework should evaluate multimodal machine translation
(MMT) models by measuring 1) their use of visual information to aid in the
translation task and 2) their ability to translate complex sentences such as
done for text-only machine translation. However, most current work in MMT is
evaluated against the Multi30k testing sets, which do not measure these
properties. Namely, the use of visual information by the MMT model cannot be
shown directly from the Multi30k test set results and the sentences in Multi30k
are are image captions, i.e., short, descriptive sentences, as opposed to
complex sentences that typical text-only machine translation models are
evaluated against.
Therefore, we propose that MMT models be evaluated using 1) the CoMMuTE
evaluation framework, which measures the use of visual information by MMT
models, 2) the text-only WMT news translation task test sets, which evaluates
translation performance against complex sentences, and 3) the Multi30k test
sets, for measuring MMT model performance against a real MMT dataset. Finally,
we evaluate recent MMT models trained solely against the Multi30k dataset
against our proposed evaluation framework and demonstrate the dramatic drop
performance against text-only testing sets compared to recent text-only MT
models.
- Abstract(参考訳): マルチモーダル機械翻訳(mmt)モデル評価のための良質な評価フレームワーク
1)翻訳作業支援のための視覚情報の利用とその利用
2)テキストのみの機械翻訳などの複雑な文を翻訳する能力。
しかし、MMTにおける現在のほとんどの研究は、これらの特性を計測しないMulti30kテストセットに対して評価されている。
すなわち、MMTモデルによる視覚情報の使用は、Multi30kテストセットの結果から直接は表示できず、Multi30kの文は画像キャプション、すなわち短い記述文であり、典型的なテキストのみの機械翻訳モデルで評価される複雑な文とは対照的である。
そこで本研究では,MTモデルの評価を行う。
1)MTモデルによる視覚情報の利用を測定するCoMMuTE評価フレームワーク。
2)テキストのみのwmtニュース翻訳タスクテストセットは,複雑な文に対する翻訳性能を評価する。
3)Multi30kテストセットは,MMTモデルの性能を実MMTデータセットに対して測定する。
最後に、提案した評価フレームワークに対してMulti30kデータセットに対してのみ訓練された最近のMTモデルを評価し、最近のMTモデルと比較してテキストのみのテストセットに対する劇的な低下性能を示す。
関連論文リスト
- Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。
我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。
本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
論文 参考訳(メタデータ) (2024-07-18T15:20:31Z) - Evaluating Automatic Metrics with Incremental Machine Translation Systems [55.78547133890403]
商業機械翻訳からなるデータセットを導入し,12の翻訳方向から6年間にわたって収集した。
商業システムは時間とともに改善され、より最近の翻訳の好みに基づいて機械翻訳(MT)メトリクスを評価することができると仮定する。
論文 参考訳(メタデータ) (2024-07-03T17:04:17Z) - 3AM: An Ambiguity-Aware Multi-Modal Machine Translation Dataset [90.95948101052073]
英語と中国語で26,000のパラレル文対からなる曖昧性を考慮したMMTデータセットである3AMを導入する。
我々のデータセットは、他のMTデータセットよりもあいまいで、キャプションと画像の両方が多種多様であるように設計されています。
実験の結果,我々のデータセットでトレーニングしたMTモデルは,他のMTデータセットでトレーニングしたMTモデルよりも視覚情報を活用する能力が高いことがわかった。
論文 参考訳(メタデータ) (2024-04-29T04:01:30Z) - Adding Multimodal Capabilities to a Text-only Translation Model [1.6192978014459543]
マルチモーダル機械翻訳(MMT)における現在の作業は、トレーニングと評価にMulti30kデータセットを使用している。
結果のモデルがMulti30kデータセットに過度に適合していることが分かりました。
Multi30kと一般的なテキストオンリーのデータセットの両方でうまく機能するために、パフォーマンスの高いテキストオンリーの機械翻訳(MT)モデルを使用します。
論文 参考訳(メタデータ) (2024-03-05T15:28:24Z) - Beyond Triplet: Leveraging the Most Data for Multimodal Machine
Translation [53.342921374639346]
マルチモーダル機械翻訳は、視覚などの他のモーダルからの情報を取り入れることで、翻訳品質を向上させることを目的としている。
従来のMMTシステムは主に視覚情報へのアクセスと利用に重点を置いており、画像関連データセット上でそれらの手法を検証する傾向がある。
本稿では,MTのための新しい手法と新しいデータセットを確立する。
論文 参考訳(メタデータ) (2022-12-20T15:02:38Z) - Tackling Ambiguity with Images: Improved Multimodal Machine Translation
and Contrastive Evaluation [72.6667341525552]
本稿では,ニューラルアダプターとガイド付き自己注意機構を用いた,強いテキストのみのMTモデルに基づく新しいMT手法を提案する。
また,不明瞭な文とその翻訳が可能なコントラスト型多モーダル翻訳評価セットであるCoMMuTEについても紹介する。
提案手法は, 標準英語-フランス語, 英語-ドイツ語, 英語-チェコ語のベンチマークにおいて, 強いテキストのみのモデルと比較して, 競争力のある結果が得られる。
論文 参考訳(メタデータ) (2022-12-20T10:18:18Z) - Building Machine Translation Systems for the Next Thousand Languages [102.24310122155073]
1500以上の言語を対象としたクリーンでWebマイニングされたデータセットの構築、低サービス言語のための実践的なMTモデルの開発、これらの言語に対する評価指標の限界の検証という3つの研究領域における結果について述べる。
我々の研究は、現在調査中の言語のためのMTシステムの構築に取り組んでいる実践者にとって有用な洞察を提供し、データスパース設定における多言語モデルの弱点を補完する研究の方向性を強調したいと考えています。
論文 参考訳(メタデータ) (2022-05-09T00:24:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。