Fugu-MT 論文翻訳(概要): DocParseNet: Advanced Semantic Segmentation and OCR Embeddings for Efficient Scanned Document Annotation

論文の概要: DocParseNet: Advanced Semantic Segmentation and OCR Embeddings for Efficient Scanned Document Annotation

arxiv url: http://arxiv.org/abs/2406.17591v2
Date: Sat, 6 Jul 2024 13:20:18 GMT
ステータス: 処理完了
システム内更新日: 2024-07-10 00:50:23.817586
Title: DocParseNet: Advanced Semantic Segmentation and OCR Embeddings for Efficient Scanned Document Annotation
Title（参考訳）: DocParseNet: 効率的なスキャンドキュメンテーションアノテーションのための高度なセマンティックセグメンテーションとOCR埋め込み
Authors: Ahmad Mohammadshirazi, Ali Nosrati Firoozsalari, Mengxi Zhou, Dheeraj Kulshrestha, Rajiv Ramnath,
Abstract要約: DocParseNetは、ディープラーニングとマルチモーダル学習を組み合わせて、テキストとビジュアルデータの両方を処理する。従来のモデルよりも大幅に優れており、検証ではmIoUスコアが49.12、テストセットでは49.78である。
参考スコア（独自算出の注目度）: 1.1650821883155187
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Automating the annotation of scanned documents is challenging, requiring a balance between computational efficiency and accuracy. DocParseNet addresses this by combining deep learning and multi-modal learning to process both text and visual data. This model goes beyond traditional OCR and semantic segmentation, capturing the interplay between text and images to preserve contextual nuances in complex document structures. Our evaluations show that DocParseNet significantly outperforms conventional models, achieving mIoU scores of 49.12 on validation and 49.78 on the test set. This reflects a 58% accuracy improvement over state-of-the-art baseline models and an 18% gain compared to the UNext baseline. Remarkably, DocParseNet achieves these results with only 2.8 million parameters, reducing the model size by approximately 25 times and speeding up training by 5 times compared to other models. These metrics, coupled with a computational efficiency of 0.034 TFLOPs (BS=1), highlight DocParseNet's high performance in document annotation. The model's adaptability and scalability make it well-suited for real-world corporate document processing applications. The code is available at https://github.com/ahmad-shirazi/DocParseNet
Abstract（参考訳）: スキャンされた文書のアノテーションを自動化することは困難であり、計算効率と精度のバランスを取る必要がある。 DocParseNetは、ディープラーニングとマルチモーダル学習を組み合わせて、テキストとビジュアルデータの両方を処理することで、この問題に対処する。このモデルは従来のOCRやセマンティックセグメンテーションを超えて、テキストと画像間の相互作用をキャプチャして、複雑なドキュメント構造におけるコンテキストニュアンスを保存する。評価の結果,DocParseNetは従来のモデルよりも優れており,検証ではmIoUスコアが49.12,テストセットでは49.78であった。これは、最先端のベースラインモデルよりも58%精度が向上し、UNextベースラインよりも18%向上したことを反映している。注目すべきは、DocParseNetはたった280万のパラメータでこれらの結果を達成することで、モデルのサイズを約25倍削減し、他のモデルと比べてトレーニングを5倍高速化する。これらのメトリクスは、0.034 TFLOPs (BS=1) の計算効率と相まって、DocParseNetのドキュメントアノテーションにおけるハイパフォーマンスを強調している。モデルの適応性とスケーラビリティは、実際の企業文書処理アプリケーションに適しています。コードはhttps://github.com/ahmad-shirazi/DocParseNetで入手できる。

関連論文リスト

M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework [75.95430061891828]
851サンプルのベンチマークであるM-LongDocと、大規模マルチモーダルモデルの性能を評価するための自動フレームワークを紹介する。効率的なマルチモーダル文書読解のための検索対応チューニング手法を提案する。
論文参考訳（メタデータ） (2024-11-09T13:30:38Z)
DocMamba: Efficient Document Pre-training with State Space Model [56.84200017560988]
本稿では,状態空間モデルに基づく新しいフレームワークDocMambaを紹介する。グローバルなモデリング能力を保ちながら、計算複雑性を線形に減らすように設計されている。 HRDocの実験では、DocMambaの長さ外挿の可能性が確認された。
論文参考訳（メタデータ） (2024-09-18T11:34:28Z)
Unifying Multimodal Retrieval via Document Screenshot Embedding [92.03571344075607]
Document Screenshot Embedding (DSE)は、文書のスクリーンショットを統一的な入力フォーマットとして扱う新しい検索パラダイムである。まず、Wiki-SSというウィキペディアのウェブページのスクリーンショットをコーパスとして作成し、Natural Questionsデータセットからの質問に答える。このようなテキスト集約的な文書検索設定では、DSEは構文解析に依存する他のテキスト検索方法と比較して、競合効果を示す。
論文参考訳（メタデータ） (2024-06-17T06:27:35Z)
TextMonkey: An OCR-Free Large Multimodal Model for Understanding Document [60.01330653769726]
テキスト中心タスクに適した大規模マルチモーダルモデル(LMM)であるTextMonkeyを提案する。ゼロ初期化によるシフトウィンドウアテンションの導入により、高い入力解像度でクロスウィンドウ接続を実現する。テキストスポッティングとグラウンド化を包含する能力を拡張し、位置情報を応答に組み込むことで、解釈可能性を高める。
論文参考訳（メタデータ） (2024-03-07T13:16:24Z)
Instruction Makes a Difference [0.22499166814992438]
Instruction Document Visual Question Answering (iDocVQA) データセットとLarge Language Document (LLaDoc) モデルを紹介する。我々は、最近の最先端(SotA)Large Language and Vision Assistant(LLaVA)1.5をベースモデルとして、文書関連データセットのパフォーマンスを比較した。また,Polling-based Object Probing Evaluation (POPE) データセットを用いて,対象幻覚の導出モデルの性能評価を行った。
論文参考訳（メタデータ） (2024-02-01T09:43:30Z)
IncDSI: Incrementally Updatable Document Retrieval [35.5697863674097]
IncDSIは、データセット全体のモデルをトレーニングすることなく、リアルタイムでドキュメントを追加する方法である。我々は、制約付き最適化問題として文書の追加を定式化し、ネットワークパラメータの変更を最小限に抑える。私たちのアプローチは、データセット全体のモデルの再トレーニングと競合しています。
論文参考訳（メタデータ） (2023-07-19T07:20:30Z)
XDoc: Unified Pre-training for Cross-Format Document Understanding [84.63416346227176]
XDocは、単一のモデルで異なるドキュメントフォーマットを扱う、統合された事前訓練されたモデルである。 XDocは、トレーニング済みの個々のモデルと比較して、さまざまなダウンストリームタスクで同等またはそれ以上のパフォーマンスを達成する。
論文参考訳（メタデータ） (2022-10-06T12:07:18Z)
DocLayNet: A Large Human-Annotated Dataset for Document-Layout Analysis [2.9923891863939938]
文書レイアウト解析は高品質なPDF文書変換の鍵となる要件である。ディープラーニングモデルは、レイアウトの検出とセグメンテーションに非常に効果的であることが証明されている。 textitDocLayNetは、新たに公開され、ドキュメント-アノテーションデータセットである。
論文参考訳（メタデータ） (2022-06-02T14:25:12Z)
ERNIE-DOC: The Retrospective Long-Document Modeling Transformer [24.426571160930635]
Recurrence Transformersに基づく文書レベルの言語プリトレーニングモデルであるERNIE-DOCを提案する。ふりかえりフィード機構とリカレンスメカニズムの強化という2つのよく設計されたテクニックにより、ELNIE-DOCははるかに長いコンテキスト長を実現できます。英語と中国語の文書レベルのタスクについて様々な実験を行った。
論文参考訳（メタデータ） (2020-12-31T16:12:48Z)
LayoutLMv2: Multi-modal Pre-training for Visually-Rich Document Understanding [49.941806975280045]
テキストとレイアウトの事前トレーニングは、視覚的に豊富な文書理解タスクで有効であることが証明されています。テキスト,レイアウト,イメージをマルチモーダルフレームワークで事前学習することで,テキスト-bfLMv2を提示する。
論文参考訳（メタデータ） (2020-12-29T13:01:52Z)
Beyond 512 Tokens: Siamese Multi-depth Transformer-based Hierarchical Encoder for Long-Form Document Matching [28.190001111358438]
長文文書マッチングのためのシームズ多層変換器を用いたSMITHを提案する。我々のモデルには、より長いテキスト入力に自己注意モデルを適用するためのいくつかの革新が含まれている。われわれはウィキペディアベースのベンチマークデータセット、コード、トレーニング済みのチェックポイントをオープンソース化し、長文文書マッチングの今後の研究を加速する。
論文参考訳（メタデータ） (2020-04-26T07:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。