論文の概要: DocMamba: Efficient Document Pre-training with State Space Model

• arxiv url: http://arxiv.org/abs/2409.11887v1
• Date: Wed, 18 Sep 2024 11:34:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 18:09:15.027982
• Title: DocMamba: Efficient Document Pre-training with State Space Model
• Title（参考訳）: DocMamba: ステートスペースモデルによる効果的なドキュメント事前トレーニング
• Authors: Pengfei Hu, Zhenrong Zhang, Jiefeng Ma, Shuhang Liu, Jun Du, Jianshu Zhang,
• Abstract要約: 本稿では,状態空間モデルに基づく新しいフレームワークDocMambaを紹介する。 グローバルなモデリング能力を保ちながら、計算複雑性を線形に減らすように設計されている。 HRDocの実験では、DocMambaの長さ外挿の可能性が確認された。
• 参考スコア（独自算出の注目度）: 56.84200017560988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, visually-rich document understanding has attracted increasing attention. Transformer-based pre-trained models have become the mainstream approach, yielding significant performance gains in this field. However, the self-attention mechanism's quadratic computational complexity hinders their efficiency and ability to process long documents. In this paper, we present DocMamba, a novel framework based on the state space model. It is designed to reduce computational complexity to linear while preserving global modeling capabilities. To further enhance its effectiveness in document processing, we introduce the Segment-First Bidirectional Scan (SFBS) to capture contiguous semantic information. Experimental results demonstrate that DocMamba achieves new state-of-the-art results on downstream datasets such as FUNSD, CORD, and SORIE, while significantly improving speed and reducing memory usage. Notably, experiments on the HRDoc confirm DocMamba's potential for length extrapolation. The code will be available online.
• Abstract（参考訳）: 近年,視覚的に豊かな文書理解が注目されている。 トランスフォーマーベースの事前訓練モデルが主流のアプローチとなり、この分野で大きなパフォーマンス向上をもたらした。 しかし、自己認識機構の2次計算の複雑さは、その効率性と長いドキュメントの処理能力を妨げている。 本稿では,状態空間モデルに基づく新しいフレームワークであるDocMambaを紹介する。 グローバルなモデリング能力を保ちながら、計算複雑性を線形に減らすように設計されている。 文書処理におけるその効率をさらに高めるため、連続した意味情報を取得するために、Segment-First Bidirectional Scan (SFBS)を導入する。 実験の結果,DocMambaはFUNSD, CORD, SORIEなどの下流データセット上で, 高速化とメモリ使用量の削減を実現している。 特にHRDocの実験では、DocMambaの長さ外挿の可能性が確認されている。 コードはオンラインで入手できる。

関連論文リスト

• DocLayout-YOLO: Enhancing Document Layout Analysis through Diverse Synthetic Data and Global-to-Local Adaptive Perception [16.301481927603554]
  速度の優位性を保ちながら精度を向上させる新しいアプローチであるDoc-YOLOを導入する。 堅牢な文書事前学習には、Mesh-candidate BestFitアルゴリズムを導入する。 モデル最適化の観点からは,グローバルからローカライズ可能な受信モジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-16T14:50:47Z)
• Scaling Up Diffusion and Flow-based XGBoost Models [5.944645679491607]
  本稿では,XGBoostを拡散・流れマッチングモデルにおける関数近似器として利用するための最近の提案について検討する。 より優れた実装では、以前よりも370倍大きなデータセットにスケールできる。 我々は,Fast Calorimeter Simulation Challengeの一環として,大規模科学的データセットについて報告する。
  論文  参考訳（メタデータ） (2024-08-28T18:00:00Z)
• Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• Efficient Document Ranking with Learnable Late Interactions [73.41976017860006]
  クロスエンコーダ(CE)とデュアルエンコーダ(DE)モデルは,情報検索におけるクエリドキュメント関連性の2つの基本的なアプローチである。 関連性を予測するため、CEモデルは共同クエリドキュメントの埋め込みを使用し、DEモデルは分解クエリとドキュメントの埋め込みを維持している。 近年、DEM構造と軽量スコアラを用いて、より好ましいレイテンシ品質のトレードオフを実現するために、遅延相互作用モデルが提案されている。
  論文  参考訳（メタデータ） (2024-06-25T22:50:48Z)
• ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document Understanding [52.3895498789521]
  レイアウト知識を向上した新しい文書事前学習ソリューションであるERNIEを提案する。 まず、直列化段階で入力シーケンスを並べ替え、相関的な事前学習タスクを示し、順序予測を行い、文書の適切な読み順序を学習する。 実験の結果、ERNIEは様々な下流タスクにおいて優れた性能を示し、キー情報に新たな最先端設定、文書質問応答を実現している。
  論文  参考訳（メタデータ） (2022-10-12T12:59:24Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• VAULT: VAriable Unified Long Text Representation for Machine Reading Comprehension [31.639069657951747]
  機械読取の既存のモデルは、段落表現と分類で長いテキストをモデル化するために複雑なモデルアーキテクチャを必要とする。 長文入力からの文脈化表現に基づく,MDC の軽量かつ並列効率なパラメタ表現 VAULT を提案する。
  論文  参考訳（メタデータ） (2021-05-07T13:03:43Z)
• Efficient Attentions for Long Document Summarization [25.234852272297598]
  Heposは、頭の位置方向のストライドを持つ、新しい効率的なエンコーダデコーダアテンションである。 十分な注意を払っている既存のモデルよりも10倍のトークンを処理できます。
  論文  参考訳（メタデータ） (2021-04-05T18:45:13Z)
• ERNIE-DOC: The Retrospective Long-Document Modeling Transformer [24.426571160930635]
  Recurrence Transformersに基づく文書レベルの言語プリトレーニングモデルであるERNIE-DOCを提案する。 ふりかえりフィード機構とリカレンスメカニズムの強化という2つのよく設計されたテクニックにより、ELNIE-DOCははるかに長いコンテキスト長を実現できます。 英語と中国語の文書レベルのタスクについて様々な実験を行った。
  論文  参考訳（メタデータ） (2020-12-31T16:12:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。