論文の概要: Incorporating Visual Layout Structures for Scientific Text Classification

• arxiv url: http://arxiv.org/abs/2106.00676v1
• Date: Tue, 1 Jun 2021 17:59:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 15:36:41.022158
• Title: Incorporating Visual Layout Structures for Scientific Text Classification
• Title（参考訳）: 科学テキスト分類のための視覚レイアウト構造の導入
• Authors: Zejiang Shen, Kyle Lo, Lucy Lu Wang, Bailey Kuehl, Daniel S. Weld, Doug Downey
• Abstract要約: 本研究では,VILA(Visual LAyout Structure)の新たな手法として,ページテキストをテキスト行やテキストブロックにグループ化する手法を言語モデルに導入する。 モデル入力にレイアウト構造の境界を示す特別なトークンを追加するI-VILAアプローチは、トークン分類タスクにおいて+14.5 F1のスコア改善をもたらす可能性があることを示す。
• 参考スコア（独自算出の注目度）: 31.15058113053433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classifying the core textual components of a scientific paper-title, author, body text, etc.-is a critical first step in automated scientific document understanding. Previous work has shown how using elementary layout information, i.e., each token's 2D position on the page, leads to more accurate classification. We introduce new methods for incorporating VIsual LAyout structures (VILA), e.g., the grouping of page texts into text lines or text blocks, into language models to further improve performance. We show that the I-VILA approach, which simply adds special tokens denoting boundaries between layout structures into model inputs, can lead to +1~4.5 F1 Score improvements in token classification tasks. Moreover, we design a hierarchical model H-VILA that encodes these layout structures and record a up-to 70% efficiency boost without hurting prediction accuracy. The experiments are conducted on a newly curated evaluation suite, S2-VLUE, with a novel metric measuring VILA awareness and a new dataset covering 19 scientific disciplines with gold annotations. Pre-trained weights, benchmark datasets, and source code will be available at https://github.com/allenai/VILA}{https://github.com/allenai/VILA.
• Abstract（参考訳）: 科学論文のコアテキストコンポーネントの分類は、科学文書の自動理解において重要な第一歩である。 これまでの研究は、基本的なレイアウト情報、すなわちページ上の各トークンの2D位置を用いて、より正確な分類を行う方法を示してきた。 本稿では,VILA(Visual LAyout Structure)の新たな手法として,ページテキストのテキスト行やテキストブロックへのグループ化を言語モデルに導入し,パフォーマンスの向上を図る。 モデル入力にレイアウト構造の境界を示す特別なトークンを追加するI-VILAアプローチは、トークン分類タスクにおいて+1~4.5 F1のスコア改善につながることを示す。 さらに,これらのレイアウト構造を符号化し,予測精度を損なうことなく最大70%の効率向上を記録できる階層モデルh-vilaを設計した。 実験は、新しい評価スイートであるS2-VLUEで行われ、VILAの意識を測定する新しい測定基準と、金のアノテーションで19の科学分野をカバーする新しいデータセットが提供される。 トレーニング済みのウェイト、ベンチマークデータセット、ソースコードはhttps://github.com/allenai/VILA}{https://github.com/allenai/VILAで入手できる。

関連論文リスト

• Leveraging Structure Knowledge and Deep Models for the Detection of Abnormal Handwritten Text [19.05500901000957]
  構造知識と手書きテキストの深層モデルを組み合わせた2段階検出アルゴリズムを提案する。 新たな半教師付きコントラストトレーニング戦略によって訓練された形状回帰ネットワークを導入し、文字間の位置関係を十分に活用する。 2つの手書きテキストデータセットを用いた実験により,提案手法は検出性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2024-10-15T14:57:10Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Enhancing Visually-Rich Document Understanding via Layout Structure Modeling [91.07963806829237]
  レイアウトの知識をモデルに注入する新しい文書理解モデルであるGraphLMを提案する。 我々は、FUNSD、XFUND、CORDなど様々なベンチマークでモデルを評価し、最先端の結果を得た。
  論文  参考訳（メタデータ） (2023-08-15T13:53:52Z)
• ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
  テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。 提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。 実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T17:53:30Z)
• CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model [55.321010757641524]
  CLIP4STRは,CLIPのイメージエンコーダとテキストエンコーダ上に構築された,シンプルで効果的なSTRメソッドである。 モデルサイズ、事前トレーニングデータ、トレーニングデータの観点からCLIP4STRをスケールし、11のSTRベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-05-23T12:51:20Z)
• CLIP-Count: Towards Text-Guided Zero-Shot Object Counting [32.07271723717184]
  オープン語彙オブジェクトの密度マップをゼロショットで推定する,最初のエンドツーエンドパイプラインであるCLIP-Countを提案する。 テキスト埋め込みを濃密な視覚特徴と整合させるため、我々は、密集した予測のための情報的パッチレベルの視覚表現を学習するために、モデルを誘導するパッチテキストコントラスト損失を導入する。 本手法は,対象物に対する高品質な密度マップを効果的に生成する。
  論文  参考訳（メタデータ） (2023-05-12T08:19:39Z)
• Entry Separation using a Mixed Visual and Textual Language Model: Application to 19th century French Trade Directories [18.323615434182553]
  重要な課題は、ターゲットデータベースの基本的なテキスト領域を構成するものを正確に分割することである。 19世紀のフランス貿易ディレクトリーに効率性を示す新しい実用的アプローチを提案する。 NER目的に使用される言語モデルのトークンストリームに、特別なビジュアルトークン、例えばインデントやブレークといったコーディングを注入することで、テキストと視覚の両方の知識を同時に活用することができる。
  論文  参考訳（メタデータ） (2023-02-17T15:30:44Z)
• ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document Understanding [52.3895498789521]
  レイアウト知識を向上した新しい文書事前学習ソリューションであるERNIEを提案する。 まず、直列化段階で入力シーケンスを並べ替え、相関的な事前学習タスクを示し、順序予測を行い、文書の適切な読み順序を学習する。 実験の結果、ERNIEは様々な下流タスクにおいて優れた性能を示し、キー情報に新たな最先端設定、文書質問応答を実現している。
  論文  参考訳（メタデータ） (2022-10-12T12:59:24Z)
• Stage-wise Fine-tuning for Graph-to-Text Generation [25.379346921398326]
  グラフからテキストへの生成は、構造化グラフエンコーダよりも優れたパフォーマンスを達成するための事前学習言語モデル(plm)の恩恵を受けている。 本研究では, ウィキペディアで最初に微調整を行い, グラフ・テキスト生成に適応する構造化グラフ・トゥ・テキストモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-17T17:15:29Z)
• Minimally-Supervised Structure-Rich Text Categorization via Learning on Text-Rich Networks [61.23408995934415]
  テキストリッチネットワークから学習することで,最小限に教師付き分類を行う新しいフレームワークを提案する。 具体的には、テキスト理解のためのテキスト解析モジュールと、クラス差別的でスケーラブルなネットワーク学習のためのネットワーク学習モジュールの2つのモジュールを共同でトレーニングします。 実験の結果,1つのカテゴリに3つのシード文書しか与えられず,その精度は約92%であった。
  論文  参考訳（メタデータ） (2021-02-23T04:14:34Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。