論文の概要: Incorporating Visual Layout Structures for Scientific Text
Classification
- arxiv url: http://arxiv.org/abs/2106.00676v1
- Date: Tue, 1 Jun 2021 17:59:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-02 15:36:41.022158
- Title: Incorporating Visual Layout Structures for Scientific Text
Classification
- Title(参考訳): 科学テキスト分類のための視覚レイアウト構造の導入
- Authors: Zejiang Shen, Kyle Lo, Lucy Lu Wang, Bailey Kuehl, Daniel S. Weld,
Doug Downey
- Abstract要約: 本研究では,VILA(Visual LAyout Structure)の新たな手法として,ページテキストをテキスト行やテキストブロックにグループ化する手法を言語モデルに導入する。
モデル入力にレイアウト構造の境界を示す特別なトークンを追加するI-VILAアプローチは、トークン分類タスクにおいて+14.5 F1のスコア改善をもたらす可能性があることを示す。
- 参考スコア(独自算出の注目度): 31.15058113053433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Classifying the core textual components of a scientific paper-title, author,
body text, etc.-is a critical first step in automated scientific document
understanding. Previous work has shown how using elementary layout information,
i.e., each token's 2D position on the page, leads to more accurate
classification. We introduce new methods for incorporating VIsual LAyout
structures (VILA), e.g., the grouping of page texts into text lines or text
blocks, into language models to further improve performance. We show that the
I-VILA approach, which simply adds special tokens denoting boundaries between
layout structures into model inputs, can lead to +1~4.5 F1 Score improvements
in token classification tasks. Moreover, we design a hierarchical model H-VILA
that encodes these layout structures and record a up-to 70% efficiency boost
without hurting prediction accuracy. The experiments are conducted on a newly
curated evaluation suite, S2-VLUE, with a novel metric measuring VILA awareness
and a new dataset covering 19 scientific disciplines with gold annotations.
Pre-trained weights, benchmark datasets, and source code will be available at
https://github.com/allenai/VILA}{https://github.com/allenai/VILA.
- Abstract(参考訳): 科学論文のコアテキストコンポーネントの分類は、科学文書の自動理解において重要な第一歩である。
これまでの研究は、基本的なレイアウト情報、すなわちページ上の各トークンの2D位置を用いて、より正確な分類を行う方法を示してきた。
本稿では,VILA(Visual LAyout Structure)の新たな手法として,ページテキストのテキスト行やテキストブロックへのグループ化を言語モデルに導入し,パフォーマンスの向上を図る。
モデル入力にレイアウト構造の境界を示す特別なトークンを追加するI-VILAアプローチは、トークン分類タスクにおいて+1~4.5 F1のスコア改善につながることを示す。
さらに,これらのレイアウト構造を符号化し,予測精度を損なうことなく最大70%の効率向上を記録できる階層モデルh-vilaを設計した。
実験は、新しい評価スイートであるS2-VLUEで行われ、VILAの意識を測定する新しい測定基準と、金のアノテーションで19の科学分野をカバーする新しいデータセットが提供される。
トレーニング済みのウェイト、ベンチマークデータセット、ソースコードはhttps://github.com/allenai/VILA}{https://github.com/allenai/VILAで入手できる。
関連論文リスト
- Enhancing Visually-Rich Document Understanding via Layout Structure
Modeling [91.07963806829237]
レイアウトの知識をモデルに注入する新しい文書理解モデルであるGraphLMを提案する。
我々は、FUNSD、XFUND、CORDなど様々なベンチマークでモデルを評価し、最先端の結果を得た。
論文 参考訳(メタデータ) (2023-08-15T13:53:52Z) - Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。
既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。
我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
論文 参考訳(メタデータ) (2023-07-21T13:06:02Z) - CLIP-Count: Towards Text-Guided Zero-Shot Object Counting [32.07271723717184]
オープン語彙オブジェクトの密度マップをゼロショットで推定する,最初のエンドツーエンドパイプラインであるCLIP-Countを提案する。
テキスト埋め込みを濃密な視覚特徴と整合させるため、我々は、密集した予測のための情報的パッチレベルの視覚表現を学習するために、モデルを誘導するパッチテキストコントラスト損失を導入する。
本手法は,対象物に対する高品質な密度マップを効果的に生成する。
論文 参考訳(メタデータ) (2023-05-12T08:19:39Z) - Entry Separation using a Mixed Visual and Textual Language Model:
Application to 19th century French Trade Directories [18.323615434182553]
重要な課題は、ターゲットデータベースの基本的なテキスト領域を構成するものを正確に分割することである。
19世紀のフランス貿易ディレクトリーに効率性を示す新しい実用的アプローチを提案する。
NER目的に使用される言語モデルのトークンストリームに、特別なビジュアルトークン、例えばインデントやブレークといったコーディングを注入することで、テキストと視覚の両方の知識を同時に活用することができる。
論文 参考訳(メタデータ) (2023-02-17T15:30:44Z) - Knowledge Graph Generation From Text [18.989264255589806]
そこで本研究では,テキスト入力から新たなエンド・ツー・エンドの知識グラフ(KG)生成システムを提案する。
グラフノードは、まず事前訓練された言語モデルを用いて生成され、次に単純なエッジ構築ヘッドが続く。
我々は,最新のWebNLG 2020 Challengeデータセットを用いて,テキストからRDF生成タスクにおける最先端のパフォーマンスとを一致させたモデルの評価を行った。
論文 参考訳(メタデータ) (2022-11-18T21:27:13Z) - ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich
Document Understanding [52.3895498789521]
レイアウト知識を向上した新しい文書事前学習ソリューションであるERNIEを提案する。
まず、直列化段階で入力シーケンスを並べ替え、相関的な事前学習タスクを示し、順序予測を行い、文書の適切な読み順序を学習する。
実験の結果、ERNIEは様々な下流タスクにおいて優れた性能を示し、キー情報に新たな最先端設定、文書質問応答を実現している。
論文 参考訳(メタデータ) (2022-10-12T12:59:24Z) - Integrating Visuospatial, Linguistic and Commonsense Structure into
Story Visualization [81.26077816854449]
まず、構造的入力を符号化するための選挙区解析木の利用について検討する。
第二に、構造化されたインプットをコモンセンス情報で強化し、この外部知識が視覚的ストーリーの生成に与える影響について検討する。
第3に、境界ボックスと高密度キャプションによって視覚構造を組み込んで、生成された画像の文字やオブジェクトに関するフィードバックを提供する。
論文 参考訳(メタデータ) (2021-10-21T00:16:02Z) - Stage-wise Fine-tuning for Graph-to-Text Generation [25.379346921398326]
グラフからテキストへの生成は、構造化グラフエンコーダよりも優れたパフォーマンスを達成するための事前学習言語モデル(plm)の恩恵を受けている。
本研究では, ウィキペディアで最初に微調整を行い, グラフ・テキスト生成に適応する構造化グラフ・トゥ・テキストモデルを提案する。
論文 参考訳(メタデータ) (2021-05-17T17:15:29Z) - Minimally-Supervised Structure-Rich Text Categorization via Learning on
Text-Rich Networks [61.23408995934415]
テキストリッチネットワークから学習することで,最小限に教師付き分類を行う新しいフレームワークを提案する。
具体的には、テキスト理解のためのテキスト解析モジュールと、クラス差別的でスケーラブルなネットワーク学習のためのネットワーク学習モジュールの2つのモジュールを共同でトレーニングします。
実験の結果,1つのカテゴリに3つのシード文書しか与えられず,その精度は約92%であった。
論文 参考訳(メタデータ) (2021-02-23T04:14:34Z) - Structure-Tags Improve Text Classification for Scholarly Document
Quality Prediction [4.4641025448898475]
本稿では,文書中の文の役割を示す構造タグとHANの利用を提案する。
文にタグを追加し、タイトル、抽象的、あるいは本文に対応するマークを付けると、学術的な文書品質予測のための最先端技術よりも改善される。
論文 参考訳(メタデータ) (2020-04-30T22:34:34Z) - Structure-Augmented Text Representation Learning for Efficient Knowledge
Graph Completion [53.31911669146451]
人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。
これらのグラフは通常不完全であり、自動補完を促す。
グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。
テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
論文 参考訳(メタデータ) (2020-04-30T13:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。