論文の概要: Practical Fine-Tuning of Autoregressive Models on Limited Handwritten Texts

• arxiv url: http://arxiv.org/abs/2503.19546v1
• Date: Tue, 25 Mar 2025 11:01:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:55:18.228602
• Title: Practical Fine-Tuning of Autoregressive Models on Limited Handwritten Texts
• Title（参考訳）: 手書き文字による自己回帰モデルの実践的微調整
• Authors: Jan Kohút, Michal Hradiš,
• Abstract要約: 微調整は16行で確実に開始でき、CERが10%向上し、256行で最大40%向上することを示した。 また,OCRモデルを用いて情報回線の信頼性に基づく選択を行うことで,アノテーションのコストを半減できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: A common use case for OCR applications involves users uploading documents and progressively correcting automatic recognition to obtain the final transcript. This correction phase presents an opportunity for progressive adaptation of the OCR model, making it crucial to adapt early, while ensuring stability and reliability. We demonstrate that state-of-the-art transformer-based models can effectively support this adaptation, gradually reducing the annotator's workload. Our results show that fine-tuning can reliably start with just 16 lines, yielding a 10% relative improvement in CER, and scale up to 40% with 256 lines. We further investigate the impact of model components, clarifying the roles of the encoder and decoder in the fine-tuning process. To guide adaptation, we propose reliable stopping criteria, considering both direct approaches and global trend analysis. Additionally, we show that OCR models can be leveraged to cut annotation costs by half through confidence-based selection of informative lines, achieving the same performance with fewer annotations.
• Abstract（参考訳）: OCRアプリケーションの一般的なユースケースは、ユーザーが文書をアップロードし、最終的な文字起こしを得るために自動認識を段階的に修正することである。 この補正フェーズは、OCRモデルの漸進的な適応の機会であり、安定性と信頼性を確保しつつ、早期適応が不可欠である。 我々は、最先端のトランスフォーマーベースモデルがこの適応を効果的にサポートし、アノテータの作業量を徐々に削減できることを実証する。 その結果, 微調整は16行で開始可能であり, CERは10%向上し, 256行で最大40%向上した。 さらに、モデルコンポーネントの影響について検討し、微調整プロセスにおけるエンコーダとデコーダの役割を明らかにする。 適応を導くために,直接的アプローチとグローバルトレンド分析の両方を考慮した信頼性の高い停止基準を提案する。 さらに,OCRモデルを用いて情報ラインの信頼性に基づく選択を行うことでアノテーションコストの半減を図り,アノテーションの少ない同一性能を実現することができることを示す。

関連論文リスト

• Analysing Zero-Shot Readability-Controlled Sentence Simplification [54.09069745799918]
  本研究では,異なる種類の文脈情報が,所望の可読性を持つ文を生成するモデルの能力に与える影響について検討する。 結果から,全ての試験されたモデルは,原文の制限や特徴のため,文の簡略化に苦慮していることがわかった。 実験では、RCTSに合わせたより良い自動評価指標の必要性も強調した。
  論文  参考訳（メタデータ） (2024-09-30T12:36:25Z)
• Spelling Correction through Rewriting of Non-Autoregressive ASR Lattices [8.77712061194924]
  本稿では,トランスフォーマーを用いたCTCモデルにより生成されたワードピース格子を書き換える有限状態トランスデューサ(FST)手法を提案する。 本アルゴリズムは,単語から音素への変換を直接行うため,明示的な単語表現を避けることができる。 文脈関連エンティティを用いたテストにおいて, 文誤り率(SER)の15.2%の相対的低減を実現した。
  論文  参考訳（メタデータ） (2024-09-24T21:42:25Z)
• ASR Error Correction using Large Language Models [4.75940708384553]
  誤り訂正(EC)モデルは、自動音声認識(ASR)転写の精製において重要な役割を果たす。 本研究は,多種多様なシナリオにおける誤り訂正のための大規模言語モデル (LLM) の使用について検討する。
  論文  参考訳（メタデータ） (2024-09-14T23:33:38Z)
• Refining Corpora from a Model Calibration Perspective for Chinese Spelling Correction [40.11364098789309]
  チャイニーズ・スペルリング・コーパス(CSC)は通常、大規模な高品質コーパスを欠いている。 2つのデータ拡張手法が広く採用されている: (1) 混乱セットのガイダンス付きtextitRandom Replacement と (2) 文字誤用をシミュレートする textitOCR/ASR ベースジェネレーション。
  論文  参考訳（メタデータ） (2024-07-22T09:26:35Z)
• Fast Context-Biasing for CTC and Transducer ASR models with CTC-based Word Spotter [57.64003871384959]
  この研究は、CTCベースのWord Spotterでコンテキストバイアスを高速化するための新しいアプローチを示す。 提案手法は,CTCログ確率をコンパクトなコンテキストグラフと比較し,潜在的なコンテキストバイアス候補を検出する。 その結果、FスコアとWERの同時改善により、文脈バイアス認識の大幅な高速化が示された。
  論文  参考訳（メタデータ） (2024-06-11T09:37:52Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Enhancing OCR Performance through Post-OCR Models: Adopting Glyph Embedding for Improved Correction [0.0]
  この手法の斬新さは、CharBERTと独自の埋め込み技術を用いてOCR出力を埋め込み、文字の視覚的特徴を捉えることである。 以上の結果から,OCR後補正はOCRモデルの欠陥に効果的に対処し,グリフ埋め込みにより優れた結果が得られることが示唆された。
  論文  参考訳（メタデータ） (2023-08-29T12:41:50Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Lights, Camera, Action! A Framework to Improve NLP Accuracy over OCR documents [2.6201102730518606]
  我々は、下流のNLPタスクに対してOCRエラーを軽減するための効果的なフレームワークを実証する。 まず,文書合成パイプラインを構築することにより,モデル学習におけるデータ不足問題に対処する。 コミュニティの利益のために、私たちはドキュメント合成パイプラインをオープンソースプロジェクトとして利用可能にしました。
  論文  参考訳（メタデータ） (2021-08-06T00:32:54Z)
• Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
  我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。 本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
  論文  参考訳（メタデータ） (2021-06-17T02:40:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。