論文の概要: CLII: Visual-Text Inpainting via Cross-Modal Predictive Interaction

• arxiv url: http://arxiv.org/abs/2407.16204v1
• Date: Tue, 23 Jul 2024 06:12:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 18:25:52.818021
• Title: CLII: Visual-Text Inpainting via Cross-Modal Predictive Interaction
• Title（参考訳）: CLII: クロスモーダルな予測インタラクションによるビジュアルテキストのインパインティング
• Authors: Liang Zhao, Qing Guo, Xiaoguang Li, Song Wang,
• Abstract要約: State-of-the-art inpainting法は主に自然画像用に設計されており、シーンテキスト画像内のテキストを正しく復元することができない。 高品質なシーン画像復元とテキスト補完を実現するために,視覚テキストの塗装作業を特定する。
• 参考スコア（独自算出の注目度）: 23.683636588751753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image inpainting aims to fill missing pixels in damaged images and has achieved significant progress with cut-edging learning techniques. Nevertheless, state-of-the-art inpainting methods are mainly designed for nature images and cannot correctly recover text within scene text images, and training existing models on the scene text images cannot fix the issues. In this work, we identify the visual-text inpainting task to achieve high-quality scene text image restoration and text completion: Given a scene text image with unknown missing regions and the corresponding text with unknown missing characters, we aim to complete the missing information in both images and text by leveraging their complementary information. Intuitively, the input text, even if damaged, contains language priors of the contents within the images and can guide the image inpainting. Meanwhile, the scene text image includes the appearance cues of the characters that could benefit text recovery. To this end, we design the cross-modal predictive interaction (CLII) model containing two branches, i.e., ImgBranch and TxtBranch, for scene text inpainting and text completion, respectively while leveraging their complementary effectively. Moreover, we propose to embed our model into the SOTA scene text spotting method and significantly enhance its robustness against missing pixels, which demonstrates the practicality of the newly developed task. To validate the effectiveness of our method, we construct three real datasets based on existing text-related datasets, containing 1838 images and covering three scenarios with curved, incidental, and styled texts, and conduct extensive experiments to show that our method outperforms baselines significantly.
• Abstract（参考訳）: 画像インパインティングは、損傷した画像の欠落画素を埋めることを目的としており、カットエジング学習技術によって大きな進歩を遂げている。 それでも、最先端の塗装法は、主に自然画像用に設計されており、シーンテキストイメージ内のテキストを正しく復元することができず、シーンテキストイメージ上の既存のモデルをトレーニングしても、問題は解決できない。 本研究は,高品質なシーンテキスト画像復元とテキスト補完を実現するための視覚テキストインペイントタスクを同定する: 未知の領域を持つシーンテキストイメージと未知の文字を持つ対応するテキストが与えられた場合,補完的な情報を活用することで,画像とテキストの両方において欠落した情報を補完することを目的とする。 直感的には、入力テキストは、損傷しても、画像内の内容の言語先行を含み、画像のインペイントをガイドすることができる。 一方、シーンテキストイメージには、テキストリカバリに役立つ文字の出現キューが含まれている。 そこで本研究では,2つのブランチ,すなわち ImgBranch と TxtBranch を含むクロスモーダル予測相互作用 (CLII) モデルの設計を行った。 さらに,本手法をSOTAシーンテキストスポッティング手法に組み込むとともに,新たに開発したタスクの実用性を示す画素不足に対するロバスト性を大幅に向上させることを提案する。 提案手法の有効性を検証するため,既存のテキスト関連データセットをベースとした3つの実データセットを構築した。

関連論文リスト

• Visual Text Generation in the Wild [67.37458807253064]
  野生で高品質なテキスト画像を生成する視覚テキスト生成装置(SceneVTG)を提案する。 提案したSceneVTGは、従来のレンダリングに基づく手法と最近の拡散に基づく手法を、忠実さと理性の観点から大きく上回っている。 生成された画像は、テキスト検出とテキスト認識を含むタスクに優れたユーティリティを提供する。
  論文  参考訳（メタデータ） (2024-07-19T09:08:20Z)
• You'll Never Walk Alone: A Sketch and Text Duet for Fine-Grained Image Retrieval [120.49126407479717]
  事前学習したCLIPモデルを用いて,スケッチとテキストを効果的に組み合わせた新しい構成性フレームワークを提案する。 我々のシステムは、合成画像検索、ドメイン転送、きめ細かい生成における新しい応用にまで拡張する。
  論文  参考訳（メタデータ） (2024-03-12T00:27:18Z)
• Text Image Inpainting via Global Structure-Guided Diffusion Models [22.859984320894135]
  現実世界のテキストは、環境や人為的な要因によって引き起こされる腐食問題によって損傷を受けることがある。 現在の塗装技術は、しばしばこの問題に適切に対処するのに失敗する。 我々は,新たなニューラルネットワークフレームワークであるGlobal Structure-Guided Diffusion Model (GSDM) を潜在的ソリューションとして開発する。
  論文  参考訳（メタデータ） (2024-01-26T13:01:28Z)
• Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models [63.99110667987318]
  DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-11-28T06:51:28Z)
• Text-guided Image Restoration and Semantic Enhancement for Text-to-Image Person Retrieval [11.798006331912056]
  テキスト・ツー・イメージ・パーソナリティ検索(TIPR)の目的は、与えられたテキスト記述に従って特定の人物画像を取得することである。 本稿では,人物画像と対応するテキスト間のきめ細かいインタラクションとアライメントを構築するための新しいTIPRフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-18T08:23:46Z)
• Toward Understanding WordArt: Corner-Guided Transformer for Scene Text Recognition [63.6608759501803]
  我々は芸術的テキストを3つのレベルで認識することを提案する。 コーナーポイントは、文字内の局所的な特徴の抽出を誘導するために用いられる。 第二に、文字レベルの特徴をモデル化するために文字の対照的な損失を設計し、文字分類のための特徴表現を改善する。 第3に,Transformerを用いて画像レベルのグローバルな特徴を学習し,コーナーポイントのグローバルな関係をモデル化する。
  論文  参考訳（メタデータ） (2022-07-31T14:11:05Z)
• Make-A-Scene: Scene-Based Text-to-Image Generation with Human Priors [58.71128866226768]
  近年のテキスト・ツー・イメージ生成手法は、生成した画像の忠実度とテキスト関連性を漸進的に改善している。 i)シーンの形式でテキストを補完する単純な制御機構を実現することで,これらのギャップに対処する新しいテキスト・ツー・イメージ手法を提案する。 このモデルにより,512×512ピクセルの解像度で高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-03-24T15:44:50Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)
• Stroke-Based Scene Text Erasing Using Synthetic Data [0.0]
  シーンテキスト消去は、自然画像の適切なコンテンツでテキスト領域を置き換えることができる。 大規模な実世界のシーンテキスト削除データセットがないため、既存のメソッドが十分に機能しない。 我々は、合成テキストの完全活用を強化し、改良された合成テキストエンジンによって生成されたデータセットにのみモデルをトレーニングする。 このモデルは、境界ボックスが設けられたシーン画像中のテキストインスタンスを部分的に消去したり、既存のシーンテキスト検出器で自動シーンテキスト消去を行うことができる。
  論文  参考訳（メタデータ） (2021-04-23T09:29:41Z)
• SwapText: Image Based Texts Transfer in Scenes [13.475726959175057]
  スワップテキスト(SwapText)はシーンイメージ間でテキストを転送するフレームワークである。 前景画像のみにテキストラベルを置換する新しいテキストスワップネットワークを提案する。 生成された前景画像と背景画像を用いて、融合ネットワークにより単語画像を生成する。
  論文  参考訳（メタデータ） (2020-03-18T11:02:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。