論文の概要: Self-Prompting Diffusion Transformer for Open-Vocabulary Scene Text Editing via In-Context Learning

• arxiv url: http://arxiv.org/abs/2605.15523v1
• Date: Fri, 15 May 2026 01:44:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.145161
• Title: Self-Prompting Diffusion Transformer for Open-Vocabulary Scene Text Editing via In-Context Learning
• Title（参考訳）: 文脈内学習によるオープン語彙シーンテキスト編集のためのセルフプロンピング拡散変換器
• Authors: Hongxi Li, Tong Wang, Chengjing Wu, Tianbao Liu, Jiangtao Yao, Xiaochao Qu, Xinxiao Wu, Luoqi Liu, Ting Liu,
• Abstract要約: シーンテキスト編集は、周囲の背景やテクスチャを保ちながら、画像のターゲット領域のテキストを変更することを目的としている。 既存の手法は、対象領域の視覚的詳細を無視しながら、画像背景情報のみに依存している。 本稿では,スタイルとグリフのプロンプトを原画像から直接作成する自己プロンプトシーンテキスト編集手法を提案する。
• 参考スコア（独自算出の注目度）: 30.48868859205432
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scene text editing aims to modify text in a target region of an image while preserving surrounding background style and texture. Existing methods rely solely on image background information while neglecting the visual details of target regions, which discards stylistic features in the original text and essentially degrades the task to text rendering. Moreover, the conditions imposed by pre-trained glyph encoder limit the scope of editable text. To address these issues, this paper proposes a self-prompting scene text editing method that constructs style and glyph prompts directly from the original image, without introducing additional style or glyph encoders. We employ a two-stage training strategy: the diffusion transformer is first trained on large-scale self-supervised data and then refined using a small set of paired images. By leveraging the in-context learning capability of the Multi-Modal Diffusion Transformer (MM-DiT), it achieves open-vocabulary and style-consistent text editing. Experimental results on various languages demonstrate that our method achieves the state-of-the-art performance in both text accuracy and style consistency. Our project page: \href{https://hongxiii.github.io/mstedit}{hongxiii.github.io/mstedit}.
• Abstract（参考訳）: シーンテキスト編集は、周囲の背景やテクスチャを保ちながら、画像のターゲット領域のテキストを変更することを目的としている。 既存の手法は画像の背景情報のみに依存し、ターゲット領域の視覚的詳細を無視する。 さらに、事前訓練されたグリフエンコーダによって課される条件は、編集可能なテキストの範囲を制限する。 これらの問題に対処するため,本論文では,スタイルやグリフのエンコーダを付加することなく,オリジナル画像から直接グリフのプロンプトを作成できるセルフプロンプトシーンテキスト編集手法を提案する。 拡散変換器は、まず大規模な自己教師付きデータに基づいて訓練され、その後、小さなペア画像を用いて洗練される。 MM-DiT(Multi-Modal Diffusion Transformer)のコンテキスト内学習機能を活用することで,オープン語彙とスタイル一貫性のあるテキスト編集を実現する。 各種言語に対する実験結果から,本手法はテキストの精度とスタイルの整合性の両方において,最先端の性能を実現することが示された。 プロジェクトページ: \href{https://hongxiii.github.io/mstedit}{hongxiii.github.io/mstedit}。

関連論文リスト

• TextGuider: Training-Free Guidance for Text Rendering via Attention Alignment [68.91073792449201]
  そこで本研究では,テキストの正確かつ完全な出現を促すトレーニング不要な方法であるTextGuiderを提案する。 具体的には,多モード拡散変換器(MM-DiT)モデルにおける注意パターンを解析し,特に画像に描画することを意図したテキスト関連トークンについて検討する。 テスト時間テキストレンダリングでは,OCR精度とCLIPスコアが大幅に向上し,高い結果が得られた。
  論文  参考訳（メタデータ） (2025-12-10T06:18:30Z)
• Text-Driven Image Editing via Learnable Regions [74.45313434129005]
  本研究では,ユーザが提供するマスクやスケッチを必要とせずに,テキストプロンプトによって駆動される領域ベースの画像編集手法を提案する。 この単純なアプローチにより、現在の画像生成モデルと互換性のあるフレキシブルな編集が可能になることを示す。 実験では,提案した言語記述に対応する忠実度とリアリズムの高い画像の操作において,提案手法の競合性能を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:27:31Z)
• FASTER: A Font-Agnostic Scene Text Editing and Rendering Framework [19.564048493848272]
  STE(Scene Text Editing)は、画像中の既存のテキストの変更を主な目的とする、難しい研究課題である。 既存のスタイル変換ベースのアプローチでは、複雑な画像背景、多様なフォント属性、テキスト内の様々な単語長によるサブパー編集性能が示されている。 フォントに依存しない新しいシーンテキスト編集・レンダリングフレームワークであるFASTERを提案し,任意のスタイルや場所のテキストを同時に生成する。
  論文  参考訳（メタデータ） (2023-08-05T15:54:06Z)
• Improving Diffusion Models for Scene Text Editing with Dual Encoders [44.12999932588205]
  シーンテキスト編集(Scene text editing)は、特定のテキストを画像に修正または挿入する作業である。 拡散モデルの最近の進歩は、これらの制限をテキスト条件による画像編集で克服することを約束している。 デュアルエンコーダ設計による事前学習拡散モデルを改善するためにDIFFSTEを提案する。
  論文  参考訳（メタデータ） (2023-04-12T02:08:34Z)
• Zero-shot Image-to-Image Translation [57.46189236379433]
  手動のプロンプトを使わずに元の画像を保存できる画像から画像への変換法であるpix2pix-zeroを提案する。 本稿では,拡散過程全体を通して入力画像の相互注意マップを維持することを目的とした,相互注意誘導を提案する。 本手法では,これらの編集のための追加のトレーニングを必要とせず,既存のテキスト・画像拡散モデルを直接使用することができる。
  論文  参考訳（メタデータ） (2023-02-06T18:59:51Z)
• Exploring Stroke-Level Modifications for Scene Text Editing [86.33216648792964]
  シーンテキスト編集(STE)は、元のテキストの背景とスタイルを保存しながら、テキストを所望のテキストに置き換えることを目的としている。 画像全体を編集するには、背景領域とテキスト領域の異なる翻訳規則を同時に学習する必要がある。 Scene Text Image at strokE Level (MOSTEL) を用いた新しいネットワークを提案する。
  論文  参考訳（メタデータ） (2022-12-05T02:10:59Z)
• DiffEdit: Diffusion-based semantic image editing with mask guidance [64.555930158319]
  DiffEditは、セマンティック画像編集のタスクにテキスト条件付き拡散モデルを利用する方法である。 私たちの主なコントリビューションは、編集が必要な入力画像の領域をハイライトするマスクを自動的に生成できることです。
  論文  参考訳（メタデータ） (2022-10-20T17:16:37Z)
• Text2LIVE: Text-Driven Layered Image and Video Editing [13.134513605107808]
  自然画像やビデオにおけるゼロショット・テキスト駆動の外観操作法を提案する。 入力画像またはビデオとターゲットテキストプロンプトが与えられた場合、我々の目標は既存のオブジェクトの外観を編集することである。 さまざまなオブジェクトやシーンにまたがる高解像度の自然画像やビデオに対して,局所的でセマンティックな編集を実演する。
  論文  参考訳（メタデータ） (2022-04-05T21:17:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。