論文の概要: HAND: Hierarchical Attention Network for Multi-Scale Handwritten Document Recognition and Layout Analysis

• arxiv url: http://arxiv.org/abs/2412.18981v1
• Date: Wed, 25 Dec 2024 20:36:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:28:21.968174
• Title: HAND: Hierarchical Attention Network for Multi-Scale Handwritten Document Recognition and Layout Analysis
• Title（参考訳）: HAND:マルチスケール手書き文書認識とレイアウト解析のための階層型注意ネットワーク
• Authors: Mohammed Hamdan, Abderrahmane Rahiche, Mohamed Cheriet,
• Abstract要約: 手書き文書認識は、コンピュータビジョンにおいて最も難しいタスクの1つである。 伝統的に、この問題は手書き文字認識とレイアウト解析という2つの別々のタスクとしてアプローチされてきた。 本稿では,テキスト認識とレイアウト解析を同時に行うための,新しいエンドツーエンドおよびセグメンテーションフリーアーキテクチャであるHANDを紹介する。
• 参考スコア（独自算出の注目度）: 21.25786478579275
• License:
• Abstract: Handwritten document recognition (HDR) is one of the most challenging tasks in the field of computer vision, due to the various writing styles and complex layouts inherent in handwritten texts. Traditionally, this problem has been approached as two separate tasks, handwritten text recognition and layout analysis, and struggled to integrate the two processes effectively. This paper introduces HAND (Hierarchical Attention Network for Multi-Scale Document), a novel end-to-end and segmentation-free architecture for simultaneous text recognition and layout analysis tasks. Our model's key components include an advanced convolutional encoder integrating Gated Depth-wise Separable and Octave Convolutions for robust feature extraction, a Multi-Scale Adaptive Processing (MSAP) framework that dynamically adjusts to document complexity and a hierarchical attention decoder with memory-augmented and sparse attention mechanisms. These components enable our model to scale effectively from single-line to triple-column pages while maintaining computational efficiency. Additionally, HAND adopts curriculum learning across five complexity levels. To improve the recognition accuracy of complex ancient manuscripts, we fine-tune and integrate a Domain-Adaptive Pre-trained mT5 model for post-processing refinement. Extensive evaluations on the READ 2016 dataset demonstrate the superior performance of HAND, achieving up to 59.8% reduction in CER for line-level recognition and 31.2% for page-level recognition compared to state-of-the-art methods. The model also maintains a compact size of 5.60M parameters while establishing new benchmarks in both text recognition and layout analysis. Source code and pre-trained models are available at : https://github.com/MHHamdan/HAND.
• Abstract（参考訳）: 手書き文書認識(HDR)は、手書きテキストに固有の様々な書き込みスタイルと複雑なレイアウトのため、コンピュータビジョンの分野で最も難しいタスクの1つである。 伝統的に、この問題は手書きテキスト認識とレイアウト解析という2つの別々のタスクとしてアプローチされ、この2つのプロセスを効果的に統合するのに苦労した。 本稿では,HAND (Hierarchical Attention Network for Multi-Scale Document) について紹介する。 我々のモデルの主要なコンポーネントは、Gated Depth-wise Separable と Octave Convolutions を統合した高度な畳み込みエンコーダ、文書の複雑さに動的に適応するマルチスケール適応処理(MSAP)フレームワーク、メモリ拡張されたスパースアテンション機構を備えた階層型アテンションデコーダである。 これらのコンポーネントにより、計算効率を保ちながら、1行から3行のカラムページまで効果的にスケールできる。 さらに、HANDは5つの複雑さレベルにわたるカリキュラム学習を採用している。 複雑な古写本の認識精度を向上させるため,ドメイン適応型事前学習mT5モデルを微調整・統合し,後処理の洗練を図る。 READ 2016データセットの大規模な評価は、HANDの優れた性能を示し、ラインレベルの認識では最大59.8%、ページレベルの認識では31.2%を達成している。 このモデルは5.60Mパラメータのコンパクトなサイズを維持しつつ、テキスト認識とレイアウト解析の両方で新しいベンチマークを確立している。 ソースコードと事前訓練されたモデルは、https://github.com/MHHamdan/HAND.comで入手できる。

関連論文リスト

• HTR-JAND: Handwritten Text Recognition with Joint Attention Network and Knowledge Distillation [21.25786478579275]
  現在の手書き文字認識(HTR)システムは、歴史的文書の複雑さに苦慮している。 本稿では,高度特徴抽出と知識蒸留を組み合わせた効率的なHTRフレームワークであるHTR-JANDを紹介する。 文脈認識型T5後処理による認識精度の向上,特に歴史文書に有効である。
  論文  参考訳（メタデータ） (2024-12-24T16:08:24Z)
• Detecting Document-level Paraphrased Machine Generated Content: Mimicking Human Writing Style and Involving Discourse Features [57.34477506004105]
  機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。 これらの課題を克服するために、新しい方法論とデータセットを導入します。 人間の筆記スタイルをエミュレートするエンコーダデコーダモデルであるMhBARTを提案する。 また,PDTB前処理による談話解析を統合し,構造的特徴を符号化するモデルであるDTransformerを提案する。
  論文  参考訳（メタデータ） (2024-12-17T08:47:41Z)
• GatedLexiconNet: A Comprehensive End-to-End Handwritten Paragraph Text Recognition System [3.9527064697847005]
  内部線分割と畳み込み層に基づくエンコーダを組み込んだエンドツーエンドの段落認識システムを提案する。 本研究は、IAMでは2.27%、RIMESでは0.9%、READ-16では2.13%、READ-2016データセットでは5.73%の文字誤り率を報告した。
  論文  参考訳（メタデータ） (2024-04-22T10:19:16Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Boosting Modern and Historical Handwritten Text Recognition with Deformable Convolutions [52.250269529057014]
  自由進化ページにおける手書き文字認識(HTR)は難しい画像理解課題である。 本稿では,手入力に応じて変形し,テキストの幾何学的変化に適応できる変形可能な畳み込みを導入することを提案する。
  論文  参考訳（メタデータ） (2022-08-17T06:55:54Z)
• DAN: a Segmentation-free Document Attention Network for Handwritten Document Recognition [1.7875811547963403]
  手書き文書認識のためのエンドツーエンドセグメンテーションフリーアーキテクチャを提案する。 このモデルはXMLのような方法で開始と終了のタグを使ってテキスト部品にラベルを付けるように訓練されている。 ページレベルでのREADデータセットと、CERの3.53%と3.69%の2ページレベルの競合結果を得た。
  論文  参考訳（メタデータ） (2022-03-23T08:40:42Z)
• Continuous Offline Handwriting Recognition using Deep Learning Models [0.0]
  手書き文字認識は、自動文書画像解析の分野に大きな関心を持つオープンな問題である。 我々は,畳み込みニューラルネットワーク(CNN)とシーケンス・ツー・シーケンス(seq2seq)という,2種類のディープラーニングアーキテクチャの統合に基づく新しい認識モデルを提案する。 提案した新たなモデルでは,他の確立された方法論と競合する結果が得られる。
  論文  参考訳（メタデータ） (2021-12-26T07:31:03Z)
• One-shot Key Information Extraction from Document with Deep Partial Graph Matching [60.48651298832829]
  ドキュメントからキー情報抽出(KIE)は、多くの産業シナリオにおいて効率、生産性、セキュリティを改善する。 KIEタスクのための既存の教師付き学習手法は、多数のラベル付きサンプルを供給し、異なる種類の文書の別々のモデルを学ぶ必要がある。 部分グラフマッチングを用いたワンショットKIEのためのディープエンド・ツー・エンド・トレーニング可能なネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T07:45:53Z)
• Rethinking Text Line Recognition Models [57.47147190119394]
  2つのデコーダファミリー(コネクショニスト時間分類と変換器)と3つのエンコーダモジュール(双方向LSTM、自己認識、GRCL)を考える。 広く使用されているシーンと手書きテキストの公開データセットの精度とパフォーマンスを比較します。 より一般的なTransformerベースのモデルとは異なり、このアーキテクチャは任意の長さの入力を処理できる。
  論文  参考訳（メタデータ） (2021-04-15T21:43:13Z)
• Minimally-Supervised Structure-Rich Text Categorization via Learning on Text-Rich Networks [61.23408995934415]
  テキストリッチネットワークから学習することで,最小限に教師付き分類を行う新しいフレームワークを提案する。 具体的には、テキスト理解のためのテキスト解析モジュールと、クラス差別的でスケーラブルなネットワーク学習のためのネットワーク学習モジュールの2つのモジュールを共同でトレーニングします。 実験の結果,1つのカテゴリに3つのシード文書しか与えられず,その精度は約92%であった。
  論文  参考訳（メタデータ） (2021-02-23T04:14:34Z)
• EASTER: Efficient and Scalable Text Recognizer [0.0]
  本稿では,機械印刷版と手書き版の両方で光学文字認識を行うための高能率かつスケーラブルなTExt認識器(EASTER)を提案する。 このモデルでは1次元畳み込み層を再帰なく利用し,データ量を大幅に削減した並列トレーニングを実現している。 また、オフライン手書きテキスト認識タスクにおいて、現在の最良の結果よりも改善点を示す。
  論文  参考訳（メタデータ） (2020-08-18T10:26:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。