論文の概要: GeoContrastNet: Contrastive Key-Value Edge Learning for Language-Agnostic Document Understanding
- arxiv url: http://arxiv.org/abs/2405.03104v1
- Date: Mon, 6 May 2024 01:40:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 15:04:42.793461
- Title: GeoContrastNet: Contrastive Key-Value Edge Learning for Language-Agnostic Document Understanding
- Title（参考訳）: GeoContrastNet: 言語に依存しない文書理解のための対照的なキーバリューエッジ学習
- Authors: Nil Biescas, Carlos Boned, Josep Lladós, Sanket Biswas,
- Abstract要約: グラフアテンションネットワーク(GAT)と対照的な学習目標を統合することにより、構造化文書理解(DU)に言語に依存しないフレームワークを提案する。
本稿では、幾何学的エッジ特徴と視覚的特徴を組み合わせた2段階のGATベースのフレームワークを提案する。
この結果から,FUNSDデータセット内の鍵値関係を形式として同定し,RVLCDIPビジネス請求書の表構造レイアウトにおける空間的関係を見出した。
- 参考スコア（独自算出の注目度）: 4.258365032282028
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper presents GeoContrastNet, a language-agnostic framework to structured document understanding (DU) by integrating a contrastive learning objective with graph attention networks (GATs), emphasizing the significant role of geometric features. We propose a novel methodology that combines geometric edge features with visual features within an overall two-staged GAT-based framework, demonstrating promising results in both link prediction and semantic entity recognition performance. Our findings reveal that combining both geometric and visual features could match the capabilities of large DU models that rely heavily on Optical Character Recognition (OCR) features in terms of performance accuracy and efficiency. This approach underscores the critical importance of relational layout information between the named text entities in a semi-structured layout of a page. Specifically, our results highlight the model's proficiency in identifying key-value relationships within the FUNSD dataset for forms and also discovering the spatial relationships in table-structured layouts for RVLCDIP business invoices. Our code and pretrained models will be accessible on our official GitHub.
- Abstract（参考訳）: 本稿では,言語に依存しない構造化文書理解(DU)フレームワークであるGeoContrastNetについて,グラフ注意ネットワーク(GAT)と対比学習目標を統合し,幾何学的特徴の重要な役割を強調した。
本稿では,2段階のGATベースのフレームワークにおいて,幾何学的エッジ特徴と視覚的特徴を組み合わせ,リンク予測とセマンティックエンティティ認識性能の両面で有望な結果を示す手法を提案する。
この結果から,光学的文字認識(OCR)機能に大きく依存する大規模DUモデルの機能に,幾何的特徴と視覚的特徴を組み合わせることで,性能の精度と効率を両立させることができることがわかった。
このアプローチは、ページの半構造化レイアウトにおいて、名前付きテキストエンティティ間でのリレーショナルレイアウト情報の重要さを浮き彫りにする。
具体的には,FUNSDデータセット内の鍵値関係を形式として同定し,RVLCDIPビジネス請求書の表構造レイアウトにおける空間的関係を見出すためのモデルの有効性を強調した。
コードと事前トレーニングされたモデルは、公式のGitHubからアクセスできます。
関連論文リスト
- ComAlign: Compositional Alignment in Vision-Language Models [2.3250871476216814]
コンポジションアライメント(ComAlign)を導入し、テキストと画像コンポーネントのより正確な対応を見出す。
本手法は, テキストのモダリティから抽出した構成構造も画像のモダリティに残さなければならないことを強調する。
私たちは、小さなデータセットを使用して、既存のビジュアルおよび言語エンコーダの上に横たわる軽量ネットワークをトレーニングします。
論文 参考訳（メタデータ） (2024-09-12T16:46:41Z) - Hypergraph based Understanding for Document Semantic Entity Recognition [65.84258776834524]
我々は,ハイパグラフアテンションを利用したハイパグラフアテンション文書セマンティックエンティティ認識フレームワークHGAを構築し,エンティティ境界とエンティティカテゴリを同時に重視する。
FUNSD, CORD, XFUNDIE で得られた結果は,本手法が意味的エンティティ認識タスクの性能を効果的に向上できることを示す。
論文 参考訳（メタデータ） (2024-07-09T14:35:49Z) - MindBench: A Comprehensive Benchmark for Mind Map Structure Recognition and Analysis [35.31073435549237]
文書分析にMindBenchという新しいベンチマークを導入する。
これには、厳密に構築されたバイリンガル認証または合成画像、詳細なアノテーション、評価指標、ベースラインモデルが含まれる。
これらのタスクには、完全パース、部分パース、位置関連パース、構造化された視覚質問応答(VQA)、位置関連VQAが含まれる。
論文 参考訳（メタデータ） (2024-07-03T06:39:18Z) - Unleashing the Potential of Text-attributed Graphs: Automatic Relation Decomposition via Large Language Models [31.443478448031886]
RoSE (Relation-oriented Semantic Edge-Decomposition) は、生のテキスト属性を分析してグラフ構造を分解する新しいフレームワークである。
我々のフレームワークは、さまざまなデータセットのノード分類性能を大幅に向上させ、ウィスコンシンデータセットでは最大16%の改善を実現した。
論文 参考訳（メタデータ） (2024-05-28T20:54:47Z) - Exploiting Contextual Target Attributes for Target Sentiment
Classification [53.30511968323911]
TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。
我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
論文 参考訳（メタデータ） (2023-12-21T11:45:28Z) - Enhancing Visually-Rich Document Understanding via Layout Structure
Modeling [91.07963806829237]
レイアウトの知識をモデルに注入する新しい文書理解モデルであるGraphLMを提案する。
我々は、FUNSD、XFUND、CORDなど様々なベンチマークでモデルを評価し、最先端の結果を得た。
論文 参考訳（メタデータ） (2023-08-15T13:53:52Z) - DocTr: Document Transformer for Structured Information Extraction in
Documents [36.1145541816468]
本稿では、視覚的にリッチな文書から構造化情報を取り出すための新しい定式化について述べる。
既存のIOBタグやグラフベースの定式化の制限に対処することを目的としている。
我々は、エンティティをアンカーワードとバウンディングボックスとして表現し、エンティティリンクをアンカーワードの関連付けとして表現する。
論文 参考訳（メタデータ） (2023-07-16T02:59:30Z) - Deep Relational Metric Learning [84.95793654872399]
本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。
我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。
広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
論文 参考訳（メタデータ） (2021-08-23T09:31:18Z) - VSR: A Unified Framework for Document Layout Analysis combining Vision,
Semantics and Relations [40.721146438291335]
視覚、意味論、関係性を組み合わせた文書レイアウト解析のための統一フレームワークVSRを提案する。
人気のある3つのベンチマークでは、vsrは以前のモデルを大きく上回っている。
論文 参考訳（メタデータ） (2021-05-13T12:20:30Z) - Language and Visual Entity Relationship Graph for Agent Navigation [54.059606864535304]
VLN(Vision-and-Language Navigation)は、エージェントが自然言語の指示に従って現実世界の環境をナビゲートする必要がある。
テキストと視覚間のモーダル関係をモデル化するための新しい言語とビジュアルエンティティ関係グラフを提案する。
実験によって、私たちは最先端技術よりも改善できる関係を利用しています。
論文 参考訳（メタデータ） (2020-10-19T08:25:55Z) - Bidirectional Graph Reasoning Network for Panoptic Segmentation [126.06251745669107]
本稿では,BGRNet(Bidirectional Graph Reasoning Network)を導入し,前景物と背景物間のモジュラー内およびモジュラー間関係について検討する。
BGRNetはまず、インスタンスとセマンティックセグメンテーションの両方でイメージ固有のグラフを構築し、提案レベルとクラスレベルで柔軟な推論を可能にする。
論文 参考訳（メタデータ） (2020-04-14T02:32:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。