論文の概要: TransAnyText: Translating Arbitrary Text in E-commerce Images via Structured Visual Generation
- arxiv url: http://arxiv.org/abs/2608.16284v1
- Date: Mon, 17 Aug 2026 08:54:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.598753
- Title: TransAnyText: Translating Arbitrary Text in E-commerce Images via Structured Visual Generation
- Title（参考訳）: TransAnyText:構造化ビジュアル生成による電子商取引画像の任意テキスト翻訳
- Abstract要約: 国境を越えたeコマース画像の翻訳は、グローバル小売にとって不可欠である。
画像テキスト翻訳を再構成する構造化ビジュアルコードフレームワークであるTransAnyTextを紹介する。
我々のフレームワークは、ソースイメージとターゲット言語からレンダリング可能なHTMLパッチを生成する。
- 参考スコア（独自算出の注目度）: 27.357240730388014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-border e-commerce image translation is essential for global retail, where product images, banners, and detail pages need to be produced in different languages. Existing methods struggle to achieve accurate translation, faithful visual identity preservation, and easy-to-edit outputs, simultaneously. To address these challenges, we introduce TransAnyText, a structured visual code framework that reformulates image text translation as generating renderable HTML patches from source images and target languages. Our framework decouples semantic generation from pixel rendering: a vision-language model (VLM) handles visual understanding, cross-lingual translation, and structured visual generation, while a diffusion model performs background inpainting and pixel-level refinement, followed by deterministic rendering to synthesize the final image. Based on this formulation, we develop a three-stage post-training framework, where supervised fine-tuning (SFT) establishes the image-to-code mapping, privilege-gap weighted self-distillation (PWSD) improves the learning of style and layout tokens, and reinforcement learning with verifiable rewards (RLVR) further optimizes task-level performance. We further introduce TransAnyDataset and TransAnyBench, a multilingual dataset and benchmark for e-commerce image translation. Extensive experiments demonstrate competitive performance against cascaded pipelines, open-source end-to-end models, and closed-source image editing systems, providing an effective, controllable, and editable solution for cross-border e-commerce image translation.
- Abstract（参考訳）: 国境を越えたeコマース画像の翻訳は、製品イメージ、バナー、詳細ページを異なる言語で作成する必要があるグローバル小売にとって不可欠である。
既存の手法は、正確な翻訳、忠実な視覚的アイデンティティの保存、編集が容易な出力を同時に達成するのに苦労している。
これらの課題に対処するために、画像テキスト翻訳をソース画像とターゲット言語からレンダリング可能なHTMLパッチを生成するように再構成する構造化ビジュアルコードフレームワークであるTransAnyTextを紹介した。
視覚言語モデル(VLM)は、視覚理解、言語間翻訳、構造化された視覚生成を処理し、拡散モデルは背景の塗り絵や画素レベルの精細化を行い、次いで決定論的レンダリングにより最終画像の合成を行う。
この定式化に基づいて、教師付き微調整(SFT)がイメージ・ツー・コードマッピングを確立し、特権ゲップ重み付き自己蒸留(PWSD)がスタイルとレイアウトトークンの学習を改善し、さらにタスクレベルの性能を最適化する3段階のポストトレーニングフレームワークを開発する。
電子商取引画像翻訳のための多言語データセットおよびベンチマークであるTransAnyDatasetとTransAnyBenchについても紹介する。
大規模な実験では、カスケードパイプライン、オープンソースエンド・ツー・エンドモデル、クローズド・ソース画像編集システムに対する競合性能を実証し、効果的で制御可能で編集可能な、国境を越えたeコマース画像翻訳ソリューションを提供する。
関連論文リスト
- UniTranslator: A Unified Multi-modal Framework for End-to-end In-Image Machine Translation [23.787128107000374]
In-Image Machine Translation (IIMT)は、画像中のシーンテキストを翻訳し、翻訳されたテキストを元の領域に戻し、全体の視覚的外観を保存することを目的としている。
最近の統合マルチモーダルモデルは、単一のフレームワーク内で視覚的テキスト理解と画像生成を組み合わせることで、有望なソリューションを提供する。
We present UniTranslator, a unified multimodal framework for IIMT that tightly couples translation understanding and text editing。
論文 参考訳（メタデータ） (2026-06-23T09:11:24Z) - Images in Sentences: Scaling Interleaved Instructions for Unified Visual Generation [19.404516863003057]
INSETは、テキスト命令内にネイティブ語彙として画像をシームレスに埋め込む統合生成モデルである。
本稿では,標準画像およびビデオデータセットから1500万件の高品質なインターリーブ付きサンプルを合成するスケーラブルなデータエンジンを提案する。
InterleaveBenchの結果は、INSETがマルチイメージの一貫性とテキストアライメントにおいて最先端の手法を大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2026-05-12T15:54:49Z) - Image-to-Image Translation with Diffusion Transformers and CLIP-Based Image Conditioning [2.9603070411207644]
Diffusion Transformers (DiT) は画像から画像への変換のための拡散ベースのフレームワークである。
DiTは拡散モデルのデノナイジング能力と変換器のグローバルなモデリング能力を組み合わせる。
実際の顔を漫画風のイラストに翻訳する face2comics と、エッジマップをリアルなシューズイメージに変換する edges2shoe の2つのベンチマークデータセットに対するアプローチを検証する。
論文 参考訳（メタデータ） (2025-05-21T20:37:33Z) - Seedream 2.0: A Native Chinese-English Bilingual Image Generation Foundation Model [69.09404597939744]
Seedream 2.0は、中国語と英語のバイリンガル画像生成基盤モデルである。
中国語と英語の両方でテキストプロンプトを管理し、バイリンガル画像生成とテキストレンダリングをサポートする。
テキストエンコーダとして自己開発されたバイリンガルな大規模言語モデルと統合されており、大量のデータから直接ネイティブ知識を学習することができる。
論文 参考訳（メタデータ） (2025-03-10T17:58:33Z) - Towards Visual Text Design Transfer Across Languages [49.78504488452978]
マルチモーダル・スタイル翻訳(MuST-Bench)の新たな課題について紹介する。
MuST-Benchは、視覚テキスト生成モデルが様々な書き込みシステム間で翻訳を行う能力を評価するために設計されたベンチマークである。
そこで我々は,スタイル記述の必要性を解消する多モーダルなスタイル翻訳フレームワークであるSIGILを紹介した。
論文 参考訳（メタデータ） (2024-10-24T15:15:01Z) - Translatotron-V(ison): An End-to-End Model for In-Image Machine Translation [81.45400849638347]
In-image Machine Translation (IIMT) は、ソース言語のテキストを含む画像をターゲット言語の翻訳を含む画像に変換することを目的としている。
本稿では,4つのモジュールからなるエンドツーエンドIIMTモデルを提案する。
本モデルでは,70.9%のパラメータしか持たないカスケードモデルと比較して競争性能が向上し,画素レベルのエンド・ツー・エンドIIMTモデルよりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-07-03T08:15:39Z) - AnyTrans: Translate AnyText in the Image with Large Scale Models [88.5887934499388]
本稿では、画像中のタスク翻訳AnyText(TATI)のためのオール・エンコンパス・フレームワークであるAnyTransを紹介する。
我々のフレームワークは、翻訳中にテキスト要素と視覚要素の両方から文脈的手がかりを取り入れている。
6つの言語対の多言語テキスト画像翻訳データからなるMTIT6というテストデータセットを精巧にコンパイルした。
論文 参考訳（メタデータ） (2024-06-17T11:37:48Z) - Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。
結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。
この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
論文 参考訳（メタデータ） (2023-09-09T03:01:38Z) - Generating Images with Multimodal Language Models [78.6660334861137]
本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。
本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
論文 参考訳（メタデータ） (2023-05-26T19:22:03Z) - Plug-and-Play Diffusion Features for Text-Driven Image-to-Image
Translation [10.39028769374367]
本稿では,画像間翻訳の領域にテキスト・ツー・イメージ合成を取り入れた新しいフレームワークを提案する。
本手法は,事前学習したテキスト・画像拡散モデルのパワーを利用して,対象のテキストに適合する新たな画像を生成する。
論文 参考訳（メタデータ） (2022-11-22T20:39:18Z) - Enhanced Modality Transition for Image Captioning [51.72997126838352]
MTM(Modality Transition Module)を構築し、言語モデルに転送する前に視覚的機能をセマンティック表現に転送します。
トレーニング段階では、モダリティ遷移ネットワークは提案されたモダリティ損失によって最適化される。
提案手法の有効性を示すMS-COCOデータセットを用いて実験を行った。
論文 参考訳（メタデータ） (2021-02-23T07:20:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。