論文の概要: OmniParser V2: Structured-Points-of-Thought for Unified Visual Text Parsing and Its Generality to Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2502.16161v1
• Date: Sat, 22 Feb 2025 09:32:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:58:11.283204
• Title: OmniParser V2: Structured-Points-of-Thought for Unified Visual Text Parsing and Its Generality to Multimodal Large Language Models
• Title（参考訳）: OmniParser V2:Unified Visual Text Parsingのための構造化点とマルチモーダル大言語モデルへの一般化
• Authors: Wenwen Yu, Zhibo Yang, Jianqiang Wan, Sibo Song, Jun Tang, Wenqing Cheng, Yuliang Liu, Xiang Bai,
• Abstract要約: VsTP(Visually-situated text parsing)は、自動化された文書理解の需要が高まり、最近顕著な進歩を遂げている。 既存のソリューションは、タスク固有のアーキテクチャと個々のタスクの目的に依存していることが多い。 本稿では,テキストスポッティング,キー情報抽出,テーブル認識,レイアウト解析など,VsTPの典型的なタスクを統一する汎用モデルであるOmni V2を紹介する。
• 参考スコア（独自算出の注目度）: 58.45517851437422
• License:
• Abstract: Visually-situated text parsing (VsTP) has recently seen notable advancements, driven by the growing demand for automated document understanding and the emergence of large language models capable of processing document-based questions. While various methods have been proposed to tackle the complexities of VsTP, existing solutions often rely on task-specific architectures and objectives for individual tasks. This leads to modal isolation and complex workflows due to the diversified targets and heterogeneous schemas. In this paper, we introduce OmniParser V2, a universal model that unifies VsTP typical tasks, including text spotting, key information extraction, table recognition, and layout analysis, into a unified framework. Central to our approach is the proposed Structured-Points-of-Thought (SPOT) prompting schemas, which improves model performance across diverse scenarios by leveraging a unified encoder-decoder architecture, objective, and input\&output representation. SPOT eliminates the need for task-specific architectures and loss functions, significantly simplifying the processing pipeline. Our extensive evaluations across four tasks on eight different datasets show that OmniParser V2 achieves state-of-the-art or competitive results in VsTP. Additionally, we explore the integration of SPOT within a multimodal large language model structure, further enhancing text localization and recognition capabilities, thereby confirming the generality of SPOT prompting technique. The code is available at \href{https://github.com/AlibabaResearch/AdvancedLiterateMachinery}{AdvancedLiterateMachinery}.
• Abstract（参考訳）: VsTP(Visually-situated text parsing)は、文書の自動理解の需要の増加と、文書ベースの質問を処理できる大規模言語モデルの出現により、最近顕著な進歩を遂げている。 VsTPの複雑さに対処するために様々な方法が提案されているが、既存のソリューションはタスク固有のアーキテクチャやタスクの目的に依存していることが多い。 これは、多種多様なターゲットと異種スキーマのために、モダル分離と複雑なワークフローをもたらす。 本稿では,テキストスポッティング,キー情報抽出,テーブル認識,レイアウト解析など,VsTPの典型的なタスクを統一化するための汎用モデルであるOmniParser V2を紹介する。 提案したSPOT(Structured-Points-of-Thought)は,統一エンコーダデコーダアーキテクチャ,目的,および入出力表現を活用することで,さまざまなシナリオにおけるモデルパフォーマンスを向上させる。 SPOTはタスク固有のアーキテクチャや損失関数の必要性を排除し、処理パイプラインを大幅に単純化する。 8つのデータセット上の4つのタスクにわたる広範囲な評価の結果、OmniParser V2がVsTPの最先端または競合的な結果を達成することが示された。 さらに、マルチモーダルな言語モデル構造におけるSPOTの統合について検討し、さらにテキストのローカライゼーションと認識機能を強化し、SPOTプロンプト手法の汎用性を確認する。 コードは \href{https://github.com/AlibabaResearch/AdvancedLiterateMachinery}{AdvancedLiterateMachinery} で公開されている。

関連論文リスト

• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation [100.06122876025063]
  本稿では,マルチドキュメント設定でQAシステムを評価するために設計された,初の総合ベンチマークであるVisDoMBenchを紹介する。 視覚とテキストのRAGを同時に利用する新しいマルチモーダル検索拡張生成(RAG)手法であるVisDoMRAGを提案する。
  論文  参考訳（メタデータ） (2024-12-14T06:24:55Z)
• CAISSON: Concept-Augmented Inference Suite of Self-Organizing Neural Networks [0.0]
  本稿では,レトリーバル・Augmented Generation(RAG)に対する新しい階層的アプローチであるCAISSONを紹介する。 CAISSONの中核は、文書空間の補完的な組織ビューを作成するために、二重自己組織化マップ(SOM)を活用している。 CAISSONを評価するために,合成財務分析ノートと質問応答ペアを生成するフレームワークであるSynFAQAを開発した。
  論文  参考訳（メタデータ） (2024-12-03T21:00:10Z)
• Document Parsing Unveiled: Techniques, Challenges, and Prospects for Structured Information Extraction [23.47150047875133]
  文書解析は、構造化されていない文書と半構造化された文書を機械可読データに変換するのに不可欠である。 文書解析は知識ベースの構築とトレーニングデータ生成において不可欠である。 本稿では,モジュール型文書解析システムと複雑なレイアウト処理における視覚言語モデルが直面する課題について論じる。
  論文  参考訳（メタデータ） (2024-10-28T16:11:35Z)
• Towards Unified Multi-granularity Text Detection with Interactive Attention [56.79437272168507]
  Detect Any Text"は、シーンテキストの検出、レイアウト分析、ドキュメントページの検出を結合的なエンドツーエンドモデルに統合する高度なパラダイムである。 DATにおける重要なイノベーションは、テキストインスタンスの表現学習を大幅に強化する、粒度横断型アテンションモジュールである。 テストによると、DATは様々なテキスト関連ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-05-30T07:25:23Z)
• OmniParser: A Unified Framework for Text Spotting, Key Information Extraction and Table Recognition [79.852642726105]
  多様なシナリオにまたがって視覚的なテキストを解析するための統一パラダイムを提案する。 具体的には,3つの視覚的なテキスト解析タスクを同時に処理できるOmniというユニバーサルモデルを提案する。 オムニでは、全てのタスクが統一エンコーダ・デコーダアーキテクチャ、統一目的点条件テキスト生成、統一入力表現を共有している。
  論文  参考訳（メタデータ） (2024-03-28T03:51:14Z)
• Universal Information Extraction as Unified Semantic Matching [54.19974454019611]
  情報抽出を,異なるタスクやスキーマで共有される構造化と概念化という,2つの能力に分割する。 このパラダイムに基づいて、統一意味マッチングフレームワークを用いて様々なIEタスクを普遍的にモデル化することを提案する。 このように、USMはスキーマと入力テキストを共同でエンコードし、サブ構造を一様に並列に抽出し、必要に応じてターゲット構造を制御できる。
  論文  参考訳（メタデータ） (2023-01-09T11:51:31Z)
• StrucTexT: Structured Text Understanding with Multi-Modal Transformers [29.540122964399046]
  Visually Rich Documents (VRD)における構造化テキスト理解は、ドキュメントインテリジェンスの重要な部分である。 本稿では,SrucTexTという統合フレームワークを提案する。 セグメントレベルおよびトークンレベルで構造化されたテキスト理解の手法を評価し,その手法が最先端のテキスト理解よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-06T02:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。