論文の概要: MEVL-STP: Multi-Encoder and Vision Language Model for Arbitrarily Shaped Scene Text Spotting

• arxiv url: http://arxiv.org/abs/2609.28857v1
• Date: Wed, 23 Sep 2026 23:58:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.608959
• Title: MEVL-STP: Multi-Encoder and Vision Language Model for Arbitrarily Shaped Scene Text Spotting
• Title（参考訳）: MEVL-STP:任意形状シーンテキストスポッティングのためのマルチエンコーダと視覚言語モデル
• Abstract要約: マルチエンコーダセグメンテーションと視覚言語モデル認識を組み合わせた2段階パイプラインを提案する。 人工的なトレーニングデータなしで,Total-Text と ICDAR 2015 で高いパフォーマンスを実現した。
• 参考スコア（独自算出の注目度）: 8.338732868244707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene text spotting remains challenging for arbitrarily shaped text instances such as curved signs and dense multi-oriented characters in natural images, where tightly coupled architectures propagate localization errors directly into recognition failures. We present a two-stage pipeline that combines multi-encoder segmentation with vision-language model recognition to address this problem. In the detection stage, six frozen vision encoders (CLIP, DINOv2, SigLIP, EVA-CLIP, SAM, and ConvNeXt) extract complementary features spanning semantic, spatial, and texture spectra, which are fused through a trainable hierarchical Feature Pyramid Network with channel attention and decoded via a deep-supervision Progressive Scale Expansion network to generate precise instance-level text masks. By keeping the encoders frozen, their independently learned feature spaces remain orthogonal during fusion, preventing the feature homogenization that degrades boundary precision in single-backbone detectors. The detection stage produces tight polygon masks that conform to the actual shape of curved and arbitrarily oriented text, rather than axis-aligned rectangles that inevitably include background content. In the recognition stage, these polygon-masked crops isolate the target text from surrounding clutter, allowing a Qwen3-VL-8B-Instruct model, fine-tuned via Low-Rank Adaptation on polygon-cropped scene text, to focus purely on reading the text without interference from neighbouring words or background noise. Without any synthetic pretraining data, our method achieves 91.99% detection F-measure and 85.86% end-to-end H-mean on CTW1500, setting a new state of the art and achieving strong performance on Total-Text and ICDAR 2015 without any synthetic training data. Code is available at https://github.com/doubleblind-afk/MEVL-STP
• Abstract（参考訳）: 自然画像における湾曲標識や濃密な多目的文字のような任意の形のテキストインスタンスでは、シーンテキストスポッティングは依然として困難であり、密結合アーキテクチャは、認識障害に直接ローカライズエラーを伝播する。 本稿では,マルチエンコーダセグメンテーションと視覚言語モデル認識を組み合わせた2段階パイプラインを提案する。 検出段階では、6つの凍結型視覚エンコーダ(CLIP, DINOv2, SigLIP, EVA-CLIP, SAM, ConvNeXt)が、トレーニング可能な階層的特徴ピラミッドネットワークを通じて融合し、深い超越性プログレッシブスケール拡張ネットワークを介してデコードされ、正確なインスタンスレベルのテキストマスクを生成する。 エンコーダを凍結させることにより、独立に学習された特徴空間は核融合の間直交し、単一バックボーン検出器における境界精度を低下させる特徴均質化を防止する。 検出段階は、背景内容が必然的に含まれない軸方向の長方形ではなく、曲面および任意向きのテキストの実際の形状に適合するタイトなポリゴンマスクを生成する。 認識段階において、これらのポリゴンマッド作物は、対象のテキストを周囲のクラッタから分離し、Qwen3-VL-8B-インストラクトモデルにより、ポリゴンクロッピングされたシーンテキストへの低ランク適応を介して微調整し、近隣の単語や背景ノイズに干渉することなく、テキストを読むことに集中する。 合成事前学習データがない場合,CTW1500では91.99%のF測定値,85.86%のエンドツーエンドH平均値が達成され,新たな最先端技術が確立され,Ttal-TextおよびICDAR 2015では合成トレーニングデータが得られなかった。 コードはhttps://github.com/doubleblind-afk/MEVL-STPで公開されている。

関連論文リスト

• One Patch Is Enough: Reinforcement-Optimized Visual Token Grounding for MLLM-Based Scene Text Spotting [51.09550363815034]
  シーンテキストスポッティングはテキスト認識と空間的局所化の間に高精度なアライメントを必要とする。 本研究では,個々のテキストインスタンスを単一のアンカー視覚トークンでルーティングする視覚中心のフレームワークであるSingle-Patch Text Spotting (SPaTS)を提案する。 SPaTS はフロンティアのクローズドソースMLLM と OCR MLLM の両方で一貫した性能を示し,その性能を著しく向上させる。
  論文  参考訳（メタデータ） (2026-07-30T09:17:48Z)
• Text-Driven Fusion for Infrared and Visible Images: Achieving Image Scene Adaptation on Hyperbolic Space [63.220767051340005]
  赤外線と可視画像の融合は相補的なモダリティを統合することを目的としている。 双曲的多様体学習によるテキスト駆動型融合フレームワークを提案する。 実験の結果,提案手法はベンチマークデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2026-06-13T04:33:33Z)
• $β$-CLIP: Text-Conditioned Contrastive Learning for Multi-Granular Vision-Language Alignment [53.42377319350806]
  $-CLIPは、多言語テキスト条件のコントラスト学習フレームワークである。 $-CALは、この階層に固有のセマンティックオーバーラップに対処する。 $-CLIPは、高密度視覚言語対応のための堅牢で適応的なベースラインを確立する。
  論文  参考訳（メタデータ） (2025-12-14T13:03:20Z)
• Decoupled Seg Tokens Make Stronger Reasoning Video Segmenter and Grounder [5.57393627015653]
  Sa2VAで実証されたビデオセグメンタとグライダーアプローチは、セグメンテーションモデル内で機能を直接フューズする。 これはしばしば、動的視覚情報と静的意味論の好ましくない絡み合いが生じ、セグメント化の精度が低下する。 SAM-2に固有の情報処理制限に対処するため,テキスト事前学習と線形デカップリングモジュールを統合したデカップリング強化プロンプト方式であるDeSa2VAを提案する。
  論文  参考訳（メタデータ） (2025-06-28T13:30:36Z)
• GlyphMastero: A Glyph Encoder for High-Fidelity Scene Text Editing [23.64662356622401]
  GlyphMasteroという特殊なグリフエンコーダは、ストロークレベルの精度でテキストを生成するために、潜時拡散モデルを導出するために設計されている。 本手法は,現状のシーンテキスト編集ベースラインよりも文精度が18.02%向上した。
  論文  参考訳（メタデータ） (2025-05-08T03:11:58Z)
• Open-Vocabulary Segmentation with Unpaired Mask-Text Supervision [87.15580604023555]
  Unpair-Segは、弱制御されたオープン語彙セグメンテーションフレームワークである。 未ペア画像マスクと画像テキストペアから学習し、独立して効率的に収集することができる。 ADE-847とPASCAL Context-459データセットで14.6%と19.5%のmIoUを達成した。
  論文  参考訳（メタデータ） (2024-02-14T06:01:44Z)
• Self-supervised Character-to-Character Distillation for Text Recognition [54.12490492265583]
  そこで本研究では,テキスト表現学習を容易にする汎用的な拡張を可能にする,自己教師型文字-文字-文字間蒸留法CCDを提案する。 CCDは、テキスト認識の1.38%、テキストセグメンテーションの1.7%、PSNRの0.24dB、超解像の0.0321(SSIM)で、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2022-11-01T05:48:18Z)
• TextDCT: Arbitrary-Shaped Text Detection via Discrete Cosine Transform Mask [19.269070203448187]
  任意形状のシーンテキスト検出は、フォント、サイズ、色、方向のさまざまな変更があるため、難しい作業である。 本研究では,テキストマスクをコンパクトなベクトルとして符号化する離散コサイン変換(DCT)を採用した,新しい軽量アンカーフリーテキスト検出フレームワークTextDCTを提案する。 TextDCTは、毎秒17.2フレームで85.1、CTW1500の15.1FPSで84.9、トータルテキストデータセットで84.9のF測定を実現している。
  論文  参考訳（メタデータ） (2022-06-27T15:42:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。