論文の概要: Text Role Classification in Scientific Charts Using Multimodal
Transformers
- arxiv url: http://arxiv.org/abs/2402.14579v1
- Date: Thu, 8 Feb 2024 13:21:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-25 16:42:18.940921
- Title: Text Role Classification in Scientific Charts Using Multimodal
Transformers
- Title(参考訳): マルチモーダル変換器を用いた科学チャートのテキストロール分類
- Authors: Hye Jin Kim, Nicolas Lell, Ansgar Scherp
- Abstract要約: テキストロール分類は、科学チャート内のテキスト要素の意味的な役割を分類することを含む。
本稿では,事前訓練された2つのマルチモーダル文書レイアウト解析モデルであるLayoutLMv3とUDOPをグラフデータセット上に微調整することを提案する。
モデルの性能向上にデータ拡張とバランシングが有効かを検討する。
- 参考スコア(独自算出の注目度): 4.605099852396135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text role classification involves classifying the semantic role of textual
elements within scientific charts. For this task, we propose to finetune two
pretrained multimodal document layout analysis models, LayoutLMv3 and UDOP, on
chart datasets. The transformers utilize the three modalities of text, image,
and layout as input. We further investigate whether data augmentation and
balancing methods help the performance of the models. The models are evaluated
on various chart datasets, and results show that LayoutLMv3 outperforms UDOP in
all experiments. LayoutLMv3 achieves the highest F1-macro score of 82.87 on the
ICPR22 test dataset, beating the best-performing model from the ICPR22
CHART-Infographics challenge. Moreover, the robustness of the models is tested
on a synthetic noisy dataset ICPR22-N. Finally, the generalizability of the
models is evaluated on three chart datasets, CHIME-R, DeGruyter, and EconBiz,
for which we added labels for the text roles. Findings indicate that even in
cases where there is limited training data, transformers can be used with the
help of data augmentation and balancing methods. The source code and datasets
are available on GitHub under
https://github.com/hjkimk/text-role-classification
- Abstract(参考訳): テキストロール分類は、科学チャート内のテキスト要素の意味的役割を分類することを含む。
そこで本研究では,事前学習した複数モーダル文書レイアウト解析モデルであるLayoutLMv3とUDOPをグラフデータセット上で微調整することを提案する。
トランスフォーマーは入力としてテキスト、画像、レイアウトの3つのモードを使用する。
さらに,データ拡張とバランシング手法がモデルの性能向上に有効かどうかについても検討する。
その結果,LayoutLMv3 はすべての実験において UDOP よりも優れていた。
LayoutLMv3 は ICPR22 テストデータセットにおいて 82.87 のF1マクロスコアを達成し、ICPR22 CHART-Infographics チャレンジの最高のパフォーマンスモデルを上回った。
さらに、合成ノイズデータセットICPR22-N上でモデルの堅牢性をテストする。
最後に、3つのチャートデータセット、CHIME-R、DeGruyter、EconBizでモデルの一般化性を評価し、テキストロールのラベルを追加しました。
その結果、トレーニングデータに制限がある場合でも、データの強化とバランスの取れた方法でトランスフォーマーを使用することができる。
ソースコードとデータセットは、https://github.com/hjkimk/text-role-classificationでgithubで入手できる。
関連論文リスト
- RanLayNet: A Dataset for Document Layout Detection used for Domain Adaptation and Generalization [36.973388673687815]
RanLayNetは、自動的に割り当てられたラベルでリッチ化された合成ドキュメントデータセットである。
本研究では,データセットでトレーニングしたディープレイアウト識別モデルに対して,実際の文書のみをトレーニングしたモデルと比較して,性能が向上したことを示す。
論文 参考訳(メタデータ) (2024-04-15T07:50:15Z) - ChartLlama: A Multimodal LLM for Chart Understanding and Generation [70.1393163657813]
GPT-4を利用した高品質な命令チューニングデータセットを作成する。
次に、生成したデータセットを使ってトレーニングしたマルチモーダルな大規模言語モデルであるChartLlamaを紹介します。
論文 参考訳(メタデータ) (2023-11-27T15:20:23Z) - Zero-shot Composed Text-Image Retrieval [72.43790281036584]
合成画像検索(CIR)の問題点を考察する。
テキストや画像などのマルチモーダル情報を融合し、クエリにマッチする画像を正確に検索し、ユーザの表現能力を拡張できるモデルをトレーニングすることを目的としている。
論文 参考訳(メタデータ) (2023-06-12T17:56:01Z) - Chart-to-Text: A Large-Scale Benchmark for Chart Summarization [9.647079534077472]
2つのデータセットと44,096のチャートを持つ大規模ベンチマークであるChart-to-textを提示する。
データセット構築プロセスを説明し、データセットを解析する。
論文 参考訳(メタデータ) (2022-03-12T17:01:38Z) - Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。
まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。
本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
論文 参考訳(メタデータ) (2022-02-17T06:02:06Z) - Label-Free Model Evaluation with Semi-Structured Dataset Representations [78.54590197704088]
ラベルなしモデル評価(AutoEval)は、ラベルなしテストセットでモデル精度を推定する。
画像ラベルがない場合、データセット表現に基づいて、回帰を伴うAutoEvalのモデル性能を推定する。
本稿では,AutoEvalのリッチな情報を含む回帰学習のための半構造化データセット表現を提案する。
論文 参考訳(メタデータ) (2021-12-01T18:15:58Z) - Benchmarking Multimodal AutoML for Tabular Data with Text Fields [83.43249184357053]
テキストフィールドを含む18個のマルチモーダルデータテーブルを組み立てる。
このベンチマークにより、研究者は、数値的、分類的、テキスト的特徴を用いて教師あり学習を行うための独自の方法を評価することができる。
論文 参考訳(メタデータ) (2021-11-04T09:29:16Z) - SubTab: Subsetting Features of Tabular Data for Self-Supervised
Representation Learning [5.5616364225463055]
私たちはTabular Data(SubTab)のサブセット機能である新しいフレームワークを紹介します。
本稿では,タブラルデータ(SubTab)のサブセット機能である新しいフレームワークを提案する。
我々は、自動エンコーダ設定で、その機能の一部分からデータを再構成することで、その基盤となる表現をよりよく捉えることができると論じている。
論文 参考訳(メタデータ) (2021-10-08T20:11:09Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。