論文の概要: Exploring In-Image Machine Translation with Real-World Background

• arxiv url: http://arxiv.org/abs/2505.15282v1
• Date: Wed, 21 May 2025 09:02:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.406151
• Title: Exploring In-Image Machine Translation with Real-World Background
• Title（参考訳）: 実世界背景を用いた画像内機械翻訳の探索
• Authors: Yanzhi Tian, Zeming Liu, Zhengyang Liu, Yuhang Guo,
• Abstract要約: In-Image Machine Translationは、ある言語から別の言語に画像内のテキストを翻訳することを目的としている。 本稿では,背景画像とテキスト画像とを分離したDebackXモデルを提案する。 実験結果から,本モデルは翻訳品質と視覚効果の両面で向上することが示された。
• 参考スコア（独自算出の注目度）: 5.839694459794486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Image Machine Translation (IIMT) aims to translate texts within images from one language to another. Previous research on IIMT was primarily conducted on simplified scenarios such as images of one-line text with black font in white backgrounds, which is far from reality and impractical for applications in the real world. To make IIMT research practically valuable, it is essential to consider a complex scenario where the text backgrounds are derived from real-world images. To facilitate research of complex scenario IIMT, we design an IIMT dataset that includes subtitle text with real-world background. However previous IIMT models perform inadequately in complex scenarios. To address the issue, we propose the DebackX model, which separates the background and text-image from the source image, performs translation on text-image directly, and fuses the translated text-image with the background, to generate the target image. Experimental results show that our model achieves improvements in both translation quality and visual effect.
• Abstract（参考訳）: In-Image Machine Translation (IIMT)は、ある言語から別の言語に画像内のテキストを翻訳することを目的としている。 IIMTの以前の研究は主に、背景に黒フォントのワンラインテキストのイメージのような単純化されたシナリオに基づいて行われたが、これは現実とは程遠いものであり、現実世界の応用には実用的ではない。 IIMT研究を実際に価値あるものにするためには、テキスト背景が実世界の画像から導出される複雑なシナリオを考えることが不可欠である。 複雑なシナリオIIMTの研究を容易にするために,実世界の背景を持つ字幕テキストを含むIIMTデータセットを設計する。 しかし、以前のIIMTモデルは複雑なシナリオでは不十分である。 そこで本研究では,背景画像とテキスト画像とを分離したDebackXモデルを提案し,テキスト画像を直接翻訳し,翻訳されたテキスト画像と背景画像とを融合させて対象画像を生成する。 実験結果から,本モデルは翻訳品質と視覚効果の両面で向上することが示された。

関連論文リスト

• SceneVTG++: Controllable Multilingual Visual Text Generation in the Wild [55.619708995575785]
  自然景観画像のテキストは、以下の4つの重要な基準を満たす必要がある。 生成されたテキストは、自然なシーンOCR(Optical Character Recognition)タスクのトレーニングを容易にする。 生成された画像は、テキスト検出やテキスト認識といったOCRタスクにおいて優れている。
  論文  参考訳（メタデータ） (2025-01-06T12:09:08Z)
• Text Image Generation for Low-Resource Languages with Dual Translation Learning [0.0]
  本研究では,高リソース言語からの実際のテキスト画像のスタイルをエミュレートすることで,低リソース言語でテキスト画像を生成する手法を提案する。 このモデルのトレーニングには、2つの翻訳タスクが含まれており、平易なテキストイメージを合成または実際のテキストイメージに変換する。 生成したテキスト画像の精度と多様性を高めるために,2つのガイダンス手法を導入する。
  論文  参考訳（メタデータ） (2024-09-26T11:23:59Z)
• AnyTrans: Translate AnyText in the Image with Large Scale Models [88.5887934499388]
  本稿では、画像中のタスク翻訳AnyText(TATI)のためのオール・エンコンパス・フレームワークであるAnyTransを紹介する。 我々のフレームワークは、翻訳中にテキスト要素と視覚要素の両方から文脈的手がかりを取り入れている。 6つの言語対の多言語テキスト画像翻訳データからなるMTIT6というテストデータセットを精巧にコンパイルした。
  論文  参考訳（メタデータ） (2024-06-17T11:37:48Z)
• Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models [63.99110667987318]
  DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-11-28T06:51:28Z)
• Exploring Better Text Image Translation with Multimodal Codebook [39.12169843196739]
  テキスト画像翻訳(TIT)は、画像に埋め込まれたソーステキストをターゲット翻訳に変換することを目的としている。 本研究ではまず,中国語のTITデータセットOCRMT30Kに注釈を付け,その後の研究に便宜を提供する。 そこで本研究では,画像と関連するテキストを関連付けることができるマルチモーダルコードブックを用いたTITモデルを提案する。 本稿では,テキスト機械翻訳,画像テキストアライメント,TITタスクを含む多段階学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-27T08:41:18Z)
• Text-based Person Search without Parallel Image-Text Data [52.63433741872629]
  テキストベースの人物探索(TBPS)は,対象者の画像を与えられた自然言語記述に基づいて大きな画像ギャラリーから検索することを目的としている。 既存の手法は、並列画像テキストペアによるトレーニングモデルによって支配されており、収集には非常にコストがかかる。 本稿では,並列画像テキストデータなしでTBPSを探索する試みについて述べる。
  論文  参考訳（メタデータ） (2023-05-22T12:13:08Z)
• Exploring Stroke-Level Modifications for Scene Text Editing [86.33216648792964]
  シーンテキスト編集(STE)は、元のテキストの背景とスタイルを保存しながら、テキストを所望のテキストに置き換えることを目的としている。 画像全体を編集するには、背景領域とテキスト領域の異なる翻訳規則を同時に学習する必要がある。 Scene Text Image at strokE Level (MOSTEL) を用いた新しいネットワークを提案する。
  論文  参考訳（メタデータ） (2022-12-05T02:10:59Z)
• A Scene-Text Synthesis Engine Achieved Through Learning from Decomposed Real-World Data [4.096453902709292]
  シーンテキスト画像合成技術は,背景画像上のテキストインスタンスを自然に構成することを目的としている。 本稿では,テキスト位置提案ネットワーク(TLPNet)とテキスト出現適応ネットワーク(TAANet)を含む学習ベーステキスト合成エンジン(LBTS)を提案する。 トレーニング後、これらのネットワークを統合して、シーンテキスト分析タスクのための合成データセットを生成することができる。
  論文  参考訳（メタデータ） (2022-09-06T11:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。