論文の概要: Translatotron-V(ison): An End-to-End Model for In-Image Machine Translation

• arxiv url: http://arxiv.org/abs/2407.02894v1
• Date: Wed, 3 Jul 2024 08:15:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 15:05:39.437514
• Title: Translatotron-V(ison): An End-to-End Model for In-Image Machine Translation
• Title（参考訳）: Translatotron-V(ison):画像内機械翻訳のためのエンドツーエンドモデル
• Authors: Zhibin Lan, Liqiang Niu, Fandong Meng, Jie Zhou, Min Zhang, Jinsong Su,
• Abstract要約: In-image Machine Translation (IIMT) は、ソース言語のテキストを含む画像をターゲット言語の翻訳を含む画像に変換することを目的としている。 本稿では,4つのモジュールからなるエンドツーエンドIIMTモデルを提案する。 本モデルでは,70.9%のパラメータしか持たないカスケードモデルと比較して競争性能が向上し,画素レベルのエンド・ツー・エンドIIMTモデルよりも大幅に優れていた。
• 参考スコア（独自算出の注目度）: 81.45400849638347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-image machine translation (IIMT) aims to translate an image containing texts in source language into an image containing translations in target language. In this regard, conventional cascaded methods suffer from issues such as error propagation, massive parameters, and difficulties in deployment and retaining visual characteristics of the input image. Thus, constructing end-to-end models has become an option, which, however, faces two main challenges: 1) the huge modeling burden, as it is required to simultaneously learn alignment across languages and preserve the visual characteristics of the input image; 2) the difficulties of directly predicting excessively lengthy pixel sequences. In this paper, we propose \textit{Translatotron-V(ision)}, an end-to-end IIMT model consisting of four modules. In addition to an image encoder, and an image decoder, our model contains a target text decoder and an image tokenizer. Among them, the target text decoder is used to alleviate the language alignment burden, and the image tokenizer converts long sequences of pixels into shorter sequences of visual tokens, preventing the model from focusing on low-level visual features. Besides, we present a two-stage training framework for our model to assist the model in learning alignment across modalities and languages. Finally, we propose a location-aware evaluation metric called Structure-BLEU to assess the translation quality of the generated images. Experimental results demonstrate that our model achieves competitive performance compared to cascaded models with only 70.9\% of parameters, and significantly outperforms the pixel-level end-to-end IIMT model.
• Abstract（参考訳）: In-image Machine Translation (IIMT) は、ソース言語のテキストを含む画像をターゲット言語の翻訳を含む画像に変換することを目的としている。 この点において、従来のカスケード手法は、エラー伝播、大量のパラメータ、配置の困難さ、入力画像の視覚的特性の維持といった問題に悩まされている。 このように、エンド・ツー・エンド・モデルの構築は選択肢となり、しかしながら2つの大きな課題に直面している。 1 言語間のアライメントを同時に学習し、入力画像の視覚的特徴を保ちながら、膨大なモデリング負担がかかること。 2)過剰長画素列の直接予測の難しさについて検討した。 本稿では、4つのモジュールからなるエンド・ツー・エンド IIMT モデルである \textit{Translatotron-V(ision)} を提案する。 画像エンコーダと画像デコーダに加えて、対象のテキストデコーダと画像トークン化器を含む。 それらのうち、対象のテキストデコーダは言語アライメントの負担を軽減するために使用され、画像トークン化器は、長い画素列を短い視覚トークン列に変換し、低レベルな視覚特徴にフォーカスすることを防止する。 さらに,モダリティや言語間のアライメントの学習を支援するために,モデルのための2段階のトレーニングフレームワークを提案する。 最後に、生成した画像の翻訳品質を評価するために、Structure-BLEUと呼ばれる位置認識評価指標を提案する。 実験結果から,本モデルは70.95%のパラメータしか持たないカスケードモデルと比較して競争性能が向上し,画素レベルのエンド・ツー・エンドIIMTモデルよりも有意に優れていた。

関連論文リスト

• FINEMATCH: Aspect-based Fine-grained Image and Text Mismatch Detection and Correction [66.98008357232428]
  我々は新しいアスペクトベースのきめ細かいテキストと画像マッチングベンチマークであるFineMatchを提案する。 FineMatchはテキストと画像のミスマッチの検出と修正に焦点を当てている。 FineMatchで訓練されたモデルは、きめ細かいテキストや画像のミスマッチを検出する能力の向上を示す。
  論文  参考訳（メタデータ） (2024-04-23T03:42:14Z)
• Fine-tuning CLIP Text Encoders with Two-step Paraphrasing [83.3736789315201]
  パラフレーズに対するCLIPモデルの表現を強化するための簡単な微調整手法を提案する。 ParaCLIPと呼ばれる我々のモデルは、様々なタスクでベースラインCLIPモデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-02-23T06:11:50Z)
• Synchronizing Vision and Language: Bidirectional Token-Masking AutoEncoder for Referring Image Segmentation [26.262887028563163]
  Referring Image (RIS)は、自然言語で表現されたターゲットオブジェクトをピクセルレベルのシーン内でセグメントすることを目的としている。 マスク付きオートエンコーダ(MAE)に触発された新しい双方向トークンマスキングオートエンコーダ(BTMAE)を提案する。 BTMAEは、画像と言語の両方に欠けている機能をトークンレベルで再構築することで、画像から言語、言語へのイメージのコンテキストを学習する。
  論文  参考訳（メタデータ） (2023-11-29T07:33:38Z)
• Mug-STAN: Adapting Image-Language Pretrained Models for General Video Understanding [47.97650346560239]
  マルチガイドアライメントモジュール(Mug-STAN)を用いた空間時間補助ネットワークを提案する。 Mug-STANは、CLIPやCoCaといった言語画像事前学習モデルの、ビデオテキスト後トレーニングと微調整の段階における適応性を著しく改善する。
  論文  参考訳（メタデータ） (2023-11-25T17:01:38Z)
• Text Rendering Strategies for Pixel Language Models [21.36370101063954]
  本稿では,テキストをPIXELモデルで描画する4つのアプローチについて検討する。 単純な文字Bigramレンダリングは、トークンレベルや多言語タスクのパフォーマンスを損なうことなく、文レベルのタスクのパフォーマンスを向上させる。 解析の結果,キャラクタ・ビッグラム・レンダリングは一貫して優れたモデルとなるが,パッチ周波数バイアスによって駆動される異方性パッチ埋め込み空間を持つことがわかった。
  論文  参考訳（メタデータ） (2023-11-01T13:49:31Z)
• Generating Images with Multimodal Language Models [78.6660334861137]
  本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。 本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
  論文  参考訳（メタデータ） (2023-05-26T19:22:03Z)
• Scaling Autoregressive Models for Content-Rich Text-to-Image Generation [95.02406834386814]
  Partiは、テキスト・ツー・イメージ生成をシーケンス・ツー・シーケンス・モデリング問題として扱う。 PartiはTransformerベースの画像トークンライザViT-VQGANを使用して、画像を離散トークンのシーケンスとしてエンコードする。 PartiPrompts (P2)は1600以上の英語のプロンプトの総合的なベンチマークである。
  論文  参考訳（メタデータ） (2022-06-22T01:11:29Z)
• TIME: Text and Image Mutual-Translation Adversarial Networks [55.1298552773457]
  テキストと画像相互変換対応ネットワーク(TIME)を提案する。 TIMEは、T2IジェネレータGと画像キャプション識別器Dをジェネレータネットワークフレームワークで学習する。 実験では、TIMEはCUBおよびMS-COCOデータセット上での最先端(SOTA)性能を達成する。
  論文  参考訳（メタデータ） (2020-05-27T06:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。