論文の概要: SVTRv2: CTC Beats Encoder-Decoder Models in Scene Text Recognition

• arxiv url: http://arxiv.org/abs/2411.15858v2
• Date: Tue, 15 Jul 2025 09:49:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 15:29:03.770273
• Title: SVTRv2: CTC Beats Encoder-Decoder Models in Scene Text Recognition
• Title（参考訳）: SVTRv2:CTCがシーンテキスト認識におけるエンコーダデコーダモデルを上回る
• Authors: Yongkun Du, Zhineng Chen, Hongtao Xie, Caiyan Jia, Yu-Gang Jiang,
• Abstract要約: テキストの不規則性や言語コンテキストのモデル化が可能なCTCモデルであるSVTRv2を提案する。 我々は,SVTRv2を標準ベンチマークと最近のベンチマークの両方で広範囲に評価した。 SVTRv2は精度と推論速度の点でほとんどのEDTRを超越している。
• 参考スコア（独自算出の注目度）: 77.28814034644287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Connectionist temporal classification (CTC)-based scene text recognition (STR) methods, e.g., SVTR, are widely employed in OCR applications, mainly due to their simple architecture, which only contains a visual model and a CTC-aligned linear classifier, and therefore fast inference. However, they generally exhibit worse accuracy than encoder-decoder-based methods (EDTRs) due to struggling with text irregularity and linguistic missing. To address these challenges, we propose SVTRv2, a CTC model endowed with the ability to handle text irregularities and model linguistic context. First, a multi-size resizing strategy is proposed to resize text instances to appropriate predefined sizes, effectively avoiding severe text distortion. Meanwhile, we introduce a feature rearrangement module to ensure that visual features accommodate the requirement of CTC, thus alleviating the alignment puzzle. Second, we propose a semantic guidance module. It integrates linguistic context into the visual features, allowing CTC model to leverage language information for accuracy improvement. This module can be omitted at the inference stage and would not increase the time cost. We extensively evaluate SVTRv2 in both standard and recent challenging benchmarks, where SVTRv2 is fairly compared to popular STR models across multiple scenarios, including different types of text irregularity, languages, long text, and whether employing pretraining. SVTRv2 surpasses most EDTRs across the scenarios in terms of accuracy and inference speed. Code: https://github.com/Topdu/OpenOCR.
• Abstract（参考訳）: 接続型時間的分類(CTC)に基づくシーンテキスト認識(STR)法は,視覚モデルとCTC整列線形分類器のみを含む単純なアーキテクチャのため,OCRアプリケーションで広く用いられている。 しかし、テキストの不規則性や言語的欠如に悩まされているため、エンコーダデコーダベースの手法(EDTR)よりも精度が低い。 これらの課題に対処するために,テキストの不規則性や言語コンテキストのモデル化が可能なCTCモデルSVTRv2を提案する。 まず、テキストインスタンスを適切なサイズにサイズ変更し、重大なテキスト歪みを効果的に回避するマルチサイズリサイズ戦略を提案する。 一方,視覚的特徴がCTCの要件を満たすことを保証するために,特徴再構成モジュールを導入し,アライメントパズルを緩和する。 次に,セマンティックガイダンスモジュールを提案する。 言語コンテキストを視覚的特徴に統合することで、CTCモデルは言語情報を利用して精度を向上させることができる。 このモジュールは推論段階で省略することができ、時間的コストを増大させることはない。 SVTRv2は、様々なタイプのテキストの不規則性、言語、長いテキスト、事前学習の有無など、複数のシナリオで広く使われているSTRモデルと比較される。 SVTRv2は精度と推論速度の点でほとんどのEDTRを超越している。 コード:https://github.com/Topdu/OpenOCR。

関連論文リスト

• VISTA-OCR: Towards generative and interactive end to end OCR models [3.7548609506798494]
  VISTA-OCRは、単一の生成モデル内でテキストの検出と認識を統合する軽量アーキテクチャである。 エンコーダ-デコーダアーキテクチャに基づいて構築されたVISTA-OCRは、視覚的特徴抽出フェーズから始まり、徐々に訓練される。 モデルの性能を高めるために、バウンディングボックスアノテーションと合成サンプルで強化された実世界のサンプルからなる新しいデータセットを構築した。
  論文  参考訳（メタデータ） (2025-04-04T17:39:53Z)
• Coupling Speech Encoders with Downstream Text Models [4.679869237248675]
  カスケード音声翻訳モデルを構築するためのモジュラー手法を提案する。 我々は,与えられたタスクに対して,最先端音声認識(ASR)とテキスト翻訳(MT)の性能を維持する。
  論文  参考訳（メタデータ） (2024-07-24T19:29:13Z)
• Fast Context-Biasing for CTC and Transducer ASR models with CTC-based Word Spotter [57.64003871384959]
  この研究は、CTCベースのWord Spotterでコンテキストバイアスを高速化するための新しいアプローチを示す。 提案手法は,CTCログ確率をコンパクトなコンテキストグラフと比較し,潜在的なコンテキストバイアス候補を検出する。 その結果、FスコアとWERの同時改善により、文脈バイアス認識の大幅な高速化が示された。
  論文  参考訳（メタデータ） (2024-06-11T09:37:52Z)
• Context Perception Parallel Decoder for Scene Text Recognition [52.620841341333524]
  シーンテキスト認識手法は高い精度と高速な推論速度を達成するのに苦労している。 本稿では、STRにおけるARデコーディングの実証的研究を行い、ARデコーダが言語文脈をモデル化するだけでなく、視覚的文脈知覚のガイダンスも提供することを明らかにする。 我々は一連のCPPDモデルを構築し、提案したモジュールを既存のSTRデコーダにプラグインする。英語と中国語のベンチマーク実験により、CPPDモデルはARベースモデルよりも約8倍高速に動作し、高い競争精度を達成できることを示した。
  論文  参考訳（メタデータ） (2023-07-23T09:04:13Z)
• RASR2: The RWTH ASR Toolkit for Generic Sequence-to-sequence Speech Recognition [43.081758770899235]
  C++で実装された研究指向の汎用S2SデコーダであるRASR2を提案する。 さまざまなS2Sモデル、言語モデル、ラベル単位/トポロジ、ニューラルネットワークアーキテクチャに対して、強力な柔軟性/互換性を提供する。 オープンおよびクローズドボキャブラリーの両方のシナリオに対して,検索モードや設定の充実したサポートを備えた汎用検索フレームワークをベースとした,効率的なデコーディングを提供する。
  論文  参考訳（メタデータ） (2023-05-28T17:48:48Z)
• Code-Switching Text Generation and Injection in Mandarin-English ASR [57.57570417273262]
  業界で広く使われているストリーミングモデルTransformer-Transducer(T-T)の性能向上のためのテキスト生成とインジェクションについて検討する。 まず、コードスイッチングテキストデータを生成し、テキスト-to-Speech(TTS)変換または暗黙的に音声とテキストの潜在空間を結び付けることによって、T-Tモデルに生成されたテキストを明示的に注入する戦略を提案する。 実際のマンダリン・イングリッシュ音声の1,800時間を含むデータセットを用いて訓練したT-Tモデルの実験結果から,生成したコードスイッチングテキストを注入する手法により,T-Tモデルの性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2023-03-20T09:13:27Z)
• SVTR: Scene Text Recognition with a Single Visual Model [44.26135584093631]
  パッチワイド画像トークン化フレームワークにおいて,シーンテキスト認識のための単一ビジュアルモデルを提案する。 SVTRと呼ばれるこの方法は、まずイメージテキストを小さなパッチに分解する。 英語と中国語の両方のシーンテキスト認識タスクの実験結果から,SVTRの有効性が示された。
  論文  参考訳（メタデータ） (2022-04-30T04:37:01Z)
• Towards Escaping from Language Bias and OCR Error: Semantics-Centered Text Visual Question Answering [14.010472385359163]
  シーンイメージのテキストは、シーン理解と推論のための重要な情報を伝える。 現在のTextVQAモデルはテキスト中心ではなく、いくつかの制限に悩まされている。 本稿では,インスタンスレベルのコントラスト型セマンティックな予測モジュールとセマンティックス中心のトランスフォーマーモジュールからなるセマンティックス中心ネットワーク(SC-Net)を提案する。
  論文  参考訳（メタデータ） (2022-03-24T08:21:41Z)
• Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates [59.678108707409606]
  我々は、接続性時間分類(CTC)出力に基づいて非自己回帰デコードによりHIを生成する高速MDモデルであるFast-MDを提案し、続いてASRデコーダを提案する。 高速MDは、GPUとCPUの「単純なMDモデル」よりも2倍、4倍高速なデコード速度を実現した。
  論文  参考訳（メタデータ） (2021-09-27T05:21:30Z)
• Rethinking Text Line Recognition Models [57.47147190119394]
  2つのデコーダファミリー(コネクショニスト時間分類と変換器)と3つのエンコーダモジュール(双方向LSTM、自己認識、GRCL)を考える。 広く使用されているシーンと手書きテキストの公開データセットの精度とパフォーマンスを比較します。 より一般的なTransformerベースのモデルとは異なり、このアーキテクチャは任意の長さの入力を処理できる。
  論文  参考訳（メタデータ） (2021-04-15T21:43:13Z)
• Structured Multimodal Attentions for TextVQA [57.71060302874151]
  上述の2つの問題を主に解決するために,終端から終端までの構造化マルチモーダルアテンション(SMA)ニューラルネットワークを提案する。 SMAはまず、画像に現れるオブジェクト・オブジェクト・オブジェクト・テキスト・テキストの関係を符号化するために構造グラフ表現を使用し、その後、それを推論するためにマルチモーダルグラフアテンションネットワークを設計する。 提案モデルでは,テキストVQAデータセットとST-VQAデータセットの2つのタスクを事前学習ベースTAP以外のモデルで比較した。
  論文  参考訳（メタデータ） (2020-06-01T07:07:36Z)
• Reducing Spelling Inconsistencies in Code-Switching ASR using Contextualized CTC Loss [5.707652271634435]
  本研究では,スペル合成の促進を目的とした文脈接続性時間分類(CCTC)の損失を提案する。 CCTC損失は、モデルの推定経路からコンテキスト基底真理を得るため、フレームレベルのアライメントを必要としない。 CSと単言語コーパスの両方において,通常のCTC損失をトレーニングしたモデルと比較して,ASR性能は一貫して改善した。
  論文  参考訳（メタデータ） (2020-05-16T09:36:58Z)
• ReADS: A Rectified Attentional Double Supervised Network for Scene Text Recognition [22.367624178280682]
  一般的なシーンテキスト認識のためのRectified Attentional Double Supervised Network (ReADS) を精巧に設計する。 ReADSはエンドツーエンドでトレーニングすることができ、ワードレベルのアノテーションのみが必要とされる。
  論文  参考訳（メタデータ） (2020-04-05T02:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。