論文の概要: Scene Text Retrieval via Joint Text Detection and Similarity Learning

• arxiv url: http://arxiv.org/abs/2104.01552v1
• Date: Sun, 4 Apr 2021 07:18:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 14:35:23.916784
• Title: Scene Text Retrieval via Joint Text Detection and Similarity Learning
• Title（参考訳）: 統合テキスト検出と類似性学習によるシーンテキスト検索
• Authors: Hao Wang, Xiang Bai, Mingkun Yang, Shenggao Zhu, Jing Wang, Wenyu Liu
• Abstract要約: シーンテキスト検索は、与えられたクエリテキストと同じまたは類似している画像ギャラリーからすべてのテキストインスタンスをローカライズし、検索することを目的としています。 自然画像からクエリテキストと各テキストインスタンスのクロスモーダルな類似性を直接学習することでこの問題に対処します。 このように、検出されたテキストインスタンスを学習された類似度でランク付けすることで、シーンテキスト検索を簡単に実行できます。
• 参考スコア（独自算出の注目度）: 68.24531728554892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene text retrieval aims to localize and search all text instances from an image gallery, which are the same or similar to a given query text. Such a task is usually realized by matching a query text to the recognized words, outputted by an end-to-end scene text spotter. In this paper, we address this problem by directly learning a cross-modal similarity between a query text and each text instance from natural images. Specifically, we establish an end-to-end trainable network, jointly optimizing the procedures of scene text detection and cross-modal similarity learning. In this way, scene text retrieval can be simply performed by ranking the detected text instances with the learned similarity. Experiments on three benchmark datasets demonstrate our method consistently outperforms the state-of-the-art scene text spotting/retrieval approaches. In particular, the proposed framework of joint detection and similarity learning achieves significantly better performance than separated methods. Code is available at: https://github.com/lanfeng4659/STR-TDSL.
• Abstract（参考訳）: シーンテキスト検索は、画像ギャラリーからすべてのテキストインスタンスをローカライズし、検索することを目的としている。 このようなタスクは通常、エンドツーエンドのシーンテキストスポッターによって出力される、認識された単語にクエリテキストをマッチングすることで実現される。 本稿では,自然画像からクエリテキストと各テキストインスタンス間の相互類似性を直接学習することにより,この問題に対処する。 具体的には、シーンテキスト検出と相互類似性学習の手順を協調的に最適化し、エンドツーエンドのトレーニング可能なネットワークを構築する。 このようにして、検出されたテキストインスタンスを学習した類似度でランク付けすることにより、シーンテキスト検索を簡単に行うことができる。 3つのベンチマークデータセットの実験は、我々の手法が最先端のシーンテキストスポッティング/検索アプローチよりも一貫して優れていることを示した。 特に,共同検出と類似性学習の枠組みは,分離した手法よりもはるかに優れた性能を実現する。 コードはhttps://github.com/lanfeng4659/str-tdsl。

関連論文リスト

• Efficiently Leveraging Linguistic Priors for Scene Text Spotting [63.22351047545888]
  本稿では,大規模テキストコーパスから言語知識を活用する手法を提案する。 シーンテキストデータセットとよく一致したテキスト分布を生成し、ドメイン内の微調整の必要性を取り除く。 実験結果から,本手法は認識精度を向上するだけでなく,単語のより正確な局所化を可能にすることが示された。
  論文  参考訳（メタデータ） (2024-02-27T01:57:09Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• ViSTA: Vision and Scene Text Aggregation for Cross-Modal Retrieval [66.66400551173619]
  単一$textbfVi$sionでクロスモーダル検索シナリオを統合するためのフルトランスフォーマーアーキテクチャを提案する。 画像-テキストペアと融合-テキストペアの両方を共通モード空間に埋め込むために、二重対照的な学習損失を発生させる。 実験の結果、ViSTAはシーンテキスト認識検索タスクに対して少なくとも$bf8.4%のRecall@1で他のメソッドよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-03-31T03:40:21Z)
• Towards End-to-End Unified Scene Text Detection and Layout Analysis [60.68100769639923]
  本稿では,シーンテキストの検出とレイアウト解析を統合化するタスクについて紹介する。 この新たな研究課題を実現するために、最初の階層的なシーンテキストデータセットが導入された。 また,シーンテキストを同時に検出し,テキストクラスタを統一的に形成する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-28T23:35:45Z)
• CORE-Text: Improving Scene Text Detection with Contrastive Relational Reasoning [65.57338873921168]
  自然界におけるテキストインスタンスのローカライズは、コンピュータビジョンにおける根本的な課題であると考えられている。 本研究では,サブテキスト問題を定量的に解析し,シンプルで効果的な設計であるContrastive Relation(CORE)モジュールを提案する。 我々は、COREモジュールをMask R-CNNの2段階テキスト検出器に統合し、テキスト検出器CORE-Textを考案する。
  論文  参考訳（メタデータ） (2021-12-14T16:22:25Z)
• Video Text Tracking With a Spatio-Temporal Complementary Model [46.99051486905713]
  テキストトラッキングは、ビデオ内の複数のテキストを追跡し、各テキストの軌跡を構築することである。 既存の手法は、トラッキング・バイ・ディテククション・フレームワークを利用する。 我々は、このパラダイムの追跡精度がより複雑なシナリオで著しく制限されていると論じる。
  論文  参考訳（メタデータ） (2021-11-09T08:23:06Z)
• StacMR: Scene-Text Aware Cross-Modal Retrieval [19.54677614738065]
  クロスモーダル検索モデルは、視覚シーンのより豊かな理解の恩恵を受けている。 現在のモデルは重要な側面を見下ろす:画像に現れるテキストは、検索のための重要な情報を含む可能性があります。 画像にシーン-テキストインスタンスを含むクロスモーダル検索の探索を可能にする新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2020-12-08T10:04:25Z)
• Textual Visual Semantic Dataset for Text Spotting [27.788077963411624]
  野生のテキストスポッティングは、画像に現れるテキストを検出して認識する。 これは、テキストが現れるコンテキストの複雑さのため、難しい問題である。 野生におけるテキストスポッティングのための視覚的コンテキストデータセットを提案する。
  論文  参考訳（メタデータ） (2020-04-21T23:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。