論文の概要: Choose What You Need: Disentangled Representation Learning for Scene Text Recognition, Removal and Editing

• arxiv url: http://arxiv.org/abs/2405.04377v1
• Date: Tue, 7 May 2024 15:00:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 13:41:05.421471
• Title: Choose What You Need: Disentangled Representation Learning for Scene Text Recognition, Removal and Editing
• Title（参考訳）: 必要なものを選ぶ:シーンテキスト認識・削除・編集のためのアンタングル表現学習
• Authors: Boqiang Zhang, Hongtao Xie, Zuan Gao, Yuxin Wang,
• Abstract要約: シーンテキスト画像は、スタイル情報(フォント、背景)だけでなく、コンテンツ情報(文字、テクスチャ)も含む。 従来の表現学習手法では、全てのタスクに密結合した特徴を使い、結果として準最適性能が得られる。 本稿では,適応性向上のための2種類の特徴を両立させることを目的としたDAR(Disentangled Representation Learning framework)を提案する。
• 参考スコア（独自算出の注目度）: 47.421888361871254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene text images contain not only style information (font, background) but also content information (character, texture). Different scene text tasks need different information, but previous representation learning methods use tightly coupled features for all tasks, resulting in sub-optimal performance. We propose a Disentangled Representation Learning framework (DARLING) aimed at disentangling these two types of features for improved adaptability in better addressing various downstream tasks (choose what you really need). Specifically, we synthesize a dataset of image pairs with identical style but different content. Based on the dataset, we decouple the two types of features by the supervision design. Clearly, we directly split the visual representation into style and content features, the content features are supervised by a text recognition loss, while an alignment loss aligns the style features in the image pairs. Then, style features are employed in reconstructing the counterpart image via an image decoder with a prompt that indicates the counterpart's content. Such an operation effectively decouples the features based on their distinctive properties. To the best of our knowledge, this is the first time in the field of scene text that disentangles the inherent properties of the text images. Our method achieves state-of-the-art performance in Scene Text Recognition, Removal, and Editing.
• Abstract（参考訳）: シーンテキスト画像は、スタイル情報(フォント、背景)だけでなく、コンテンツ情報(文字、テクスチャ)も含む。 異なるシーンテキストタスクは異なる情報を必要とするが、従来の表現学習手法は全てのタスクに密結合した機能を使用し、結果として準最適性能をもたらす。 本稿では,これらの2種類の特徴を解消し,様々な下流タスク(本当に必要なものを選ぶ)への適応性を改善することを目的としたDAR(Disentangled Representation Learning framework)を提案する。 具体的には、同じスタイルだが異なる内容のイメージペアのデータセットを合成する。 データセットに基づいて、監督設計により2種類の特徴を分離する。 明らかに、視覚的表現をスタイルとコンテンツ特徴に分割し、コンテンツ特徴はテキスト認識損失によって監督され、アライメント損失は画像ペアのスタイル特徴と整列する。 そして、相手のコンテンツを示すプロンプトを用いて、画像デコーダを介して相手の画像を再構成する際のスタイル特徴を用いる。 このような操作は、特徴的特性に基づいて、効果的に特徴を分離する。 我々の知る限りでは、シーンテキストの分野において、テキスト画像の固有の特性を乱すのはこれが初めてである。 本手法は,シーンテキスト認識,削除,編集における最先端のパフォーマンスを実現する。

関連論文リスト

• VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
  我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。 第1段階では、VLLMが対象者の明らかな感情の自然言語で記述を生成できるように促すことを提案する。 第2段階では、記述を文脈情報として使用し、画像入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用する。
  論文  参考訳（メタデータ） (2024-04-10T15:09:15Z)
• Text-guided Image Restoration and Semantic Enhancement for Text-to-Image Person Retrieval [11.798006331912056]
  テキスト・ツー・イメージ・パーソナリティ検索(TIPR)の目的は、与えられたテキスト記述に従って特定の人物画像を取得することである。 本稿では,人物画像と対応するテキスト間のきめ細かいインタラクションとアライメントを構築するための新しいTIPRフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-18T08:23:46Z)
• Toward Understanding WordArt: Corner-Guided Transformer for Scene Text Recognition [63.6608759501803]
  我々は芸術的テキストを3つのレベルで認識することを提案する。 コーナーポイントは、文字内の局所的な特徴の抽出を誘導するために用いられる。 第二に、文字レベルの特徴をモデル化するために文字の対照的な損失を設計し、文字分類のための特徴表現を改善する。 第3に,Transformerを用いて画像レベルのグローバルな特徴を学習し,コーナーポイントのグローバルな関係をモデル化する。
  論文  参考訳（メタデータ） (2022-07-31T14:11:05Z)
• Knowledge Mining with Scene Text for Fine-Grained Recognition [53.74297368412834]
  本研究では,シーンテキスト画像の背景にある暗黙的な文脈知識をマイニングする,エンドツーエンドのトレーニング可能なネットワークを提案する。 我々は,KnowBertを用いて意味表現の関連知識を検索し,それを画像特徴と組み合わせ,きめ細かい分類を行う。 本手法は,3.72%のmAPと5.39%のmAPをそれぞれ上回っている。
  論文  参考訳（メタデータ） (2022-03-27T05:54:00Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)
• Learning Semantic-Aligned Feature Representation for Text-based Person Search [8.56017285139081]
  テキストに基づく人物検索のためのセマンティック・アライン・埋め込み手法を提案する。 特徴アライメントは、意味的に整った視覚的特徴とテキスト的特徴を自動的に学習することで達成される。 CUHK-PEDESおよびFlickr30Kデータセットによる実験結果から,本手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-12-13T14:54:38Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• RewriteNet: Realistic Scene Text Image Generation via Editing Text in Real-world Image [17.715320405808935]
  シーンテキスト編集(STE)は、テキストとスタイルの複雑な介入のために難しい作業である。 本稿ではRewriteNetと呼ばれる新しい表現学習型STEモデルを提案する。 我々の実験は、RewriteNetが他の比較よりも定量的かつ定性的な性能を達成することを示した。
  論文  参考訳（メタデータ） (2021-07-23T06:32:58Z)
• STEFANN: Scene Text Editor using Font Adaptive Neural Network [18.79337509555511]
  画像中のテキストを文字レベルで修正する手法を提案する。 本稿では,(a)FANnetと(b)Colornetという2つの異なるニューラルネットワークアーキテクチャを提案する。 本手法は画像中のテキストを編集するための統一的なプラットフォームとして機能する。
  論文  参考訳（メタデータ） (2019-03-04T11:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。