論文の概要: Accurate Scene Text Recognition with Efficient Model Scaling and Cloze Self-Distillation

• arxiv url: http://arxiv.org/abs/2503.16184v1
• Date: Thu, 20 Mar 2025 14:35:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:36:14.503446
• Title: Accurate Scene Text Recognition with Efficient Model Scaling and Cloze Self-Distillation
• Title（参考訳）: 効率的なモデルスケーリングとクローズ自己蒸留による正確なシーンテキスト認識
• Authors: Andrea Maracani, Savas Ozkan, Sijun Cho, Hyowon Kim, Eunchung Noh, Jeongwon Min, Cho Jung Min, Dookun Park, Mete Ozay,
• Abstract要約: 我々はデコーダのスケーリングが、エンコーダのスケーリング単独で達成した以上の大きなパフォーマンス向上をもたらすことを示す。 また,ラベルノイズがシーンテキスト認識,特に実世界のデータにおいて重要な課題であることも確認した。 提案手法は,実データのみを用いて,11ベンチマーク中10ベンチマークにおいて,パラメータサイズと計算コストを大幅に削減する。
• 参考スコア（独自算出の注目度）: 11.217033010884006
• License:
• Abstract: Scaling architectures have been proven effective for improving Scene Text Recognition (STR), but the individual contribution of vision encoder and text decoder scaling remain under-explored. In this work, we present an in-depth empirical analysis and demonstrate that, contrary to previous observations, scaling the decoder yields significant performance gains, always exceeding those achieved by encoder scaling alone. We also identify label noise as a key challenge in STR, particularly in real-world data, which can limit the effectiveness of STR models. To address this, we propose Cloze Self-Distillation (CSD), a method that mitigates label noise by distilling a student model from context-aware soft predictions and pseudolabels generated by a teacher model. Additionally, we enhance the decoder architecture by introducing differential cross-attention for STR. Our methodology achieves state-of-the-art performance on 10 out of 11 benchmarks using only real data, while significantly reducing the parameter size and computational costs.
• Abstract（参考訳）: スケーリングアーキテクチャは、Scene Text Recognition(STR)の改善に有効であることが証明されているが、視覚エンコーダとテキストデコーダのスケーリングの個々の貢献は、まだ探索されていない。 本研究では,従来の観測結果とは対照的に,デコーダのスケーリングが常にエンコーダのスケーリング単独で達成した以上の大きな性能向上をもたらすことを示す。 また,ラベルノイズはSTRにおいて重要な課題であり,特に実世界のデータではSTRモデルの有効性を抑えることができる。 そこで本研究では,教師モデルによって生成された文脈認識型ソフト予測と擬似ラベルから学生モデルを蒸留することにより,ラベルノイズを緩和するCloze Self-Distillation (CSD)を提案する。 さらに、STRに差分クロスアテンションを導入することでデコーダアーキテクチャを強化する。 提案手法は,実データのみを用いて,11ベンチマーク中10ベンチマークにおいて,パラメータサイズと計算コストを大幅に削減する。

関連論文リスト

• Leveraging Semi-Supervised Learning to Enhance Data Mining for Image Classification under Limited Labeled Data [35.431340001608476]
  従来のデータマイニング手法は、大規模で高次元で複雑なデータに直面すると不十分である。 本研究では,ラベルのないデータを利用するアルゴリズムの能力向上を目的とした,半教師付き学習手法を提案する。 具体的には、自己学習法を採用し、画像の特徴抽出と分類のための畳み込みニューラルネットワーク(CNN)と組み合わせる。
  論文  参考訳（メタデータ） (2024-11-27T18:59:50Z)
• IncSAR: A Dual Fusion Incremental Learning Framework for SAR Target Recognition [13.783950035836593]
  IncSARは、ターゲット認識における破滅的な忘れに対処するために設計された漸進的な学習フレームワークである。 SAR画像に固有のスペックルノイズを軽減するため、ニューラルネットワーク近似に基づくデノナイジングモジュールを用いる。 MSTAR、SAR-AIRcraft-1.0、OpenSARShipベンチマークデータセットの実験は、IncSARが最先端のアプローチを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-10-08T08:49:47Z)
• Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models [84.8919069953397]
  Self-Taught Recognizer (STAR) は、音声認識システムのための教師なし適応フレームワークである。 その結果,STARは14のドメインで平均13.5%の単語誤り率の相対的な減少を実現していることがわかった。 STARは1時間以内のラベル付きデータを必要とする高いデータ効率を示す。
  論文  参考訳（メタデータ） (2024-05-23T04:27:11Z)
• Analyze the Robustness of Classifiers under Label Noise [5.708964539699851]
  教師付き学習におけるラベルノイズは、誤ったラベルまたは不正確なラベルによって特徴づけられ、モデル性能を著しく損なう。 本研究は, ラベルノイズが実用的応用に与える影響について, ますます関連する問題に焦点をあてる。
  論文  参考訳（メタデータ） (2023-12-12T13:51:25Z)
• Fine tuning Pre trained Models for Robustness Under Noisy Labels [34.68018860186995]
  トレーニングデータセットにノイズの多いラベルが存在することは、機械学習モデルのパフォーマンスに大きな影響を及ぼす可能性がある。 我々は、事前学習されたモデルの事前知識を頑健かつ効率的に伝達するTURNと呼ばれる新しいアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-10-24T20:28:59Z)
• A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
  本稿では,DAF(Disdisrepancy Aware Framework)を提案する。 本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。 単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
  論文  参考訳（メタデータ） (2023-10-11T15:21:40Z)
• Improved Speech Emotion Recognition using Transfer Learning and Spectrogram Augmentation [56.264157127549446]
  音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。 SERの主な課題の1つは、データの不足である。 本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-05T10:39:39Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• SoundCLR: Contrastive Learning of Representations For Improved Environmental Sound Classification [0.6767885381740952]
  SoundCLRは、最先端の性能を持つ効果的な環境音分類のための教師付きコントラスト学習手法である。 利用可能な環境音のデータセットのサイズが比較的小さいため、転送学習と強力なデータ拡張パイプラインを提案し、活用する。 実験の結果,log-melスペクトルを用いたマスキングによる拡張技術により,認識性能が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-03-02T18:42:45Z)
• A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction [54.569707226277735]
  既存の文法的誤り訂正(GEC)のアプローチは、手動で作成したGECデータセットによる教師あり学習に依存している。 誤りが不適切に編集されたり、修正されなかったりする「ノイズ」は無視できないほどある。 本稿では,既存のモデルの予測整合性を利用して,これらのデータセットをデノマイズする自己補充手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T04:45:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。