論文の概要: Text Role Classification in Scientific Charts Using Multimodal Transformers

• arxiv url: http://arxiv.org/abs/2402.14579v1
• Date: Thu, 8 Feb 2024 13:21:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-25 16:42:18.940921
• Title: Text Role Classification in Scientific Charts Using Multimodal Transformers
• Title（参考訳）: マルチモーダル変換器を用いた科学チャートのテキストロール分類
• Authors: Hye Jin Kim, Nicolas Lell, Ansgar Scherp
• Abstract要約: テキストロール分類は、科学チャート内のテキスト要素の意味的な役割を分類することを含む。 本稿では,事前訓練された2つのマルチモーダル文書レイアウト解析モデルであるLayoutLMv3とUDOPをグラフデータセット上に微調整することを提案する。 モデルの性能向上にデータ拡張とバランシングが有効かを検討する。
• 参考スコア（独自算出の注目度）: 4.605099852396135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text role classification involves classifying the semantic role of textual elements within scientific charts. For this task, we propose to finetune two pretrained multimodal document layout analysis models, LayoutLMv3 and UDOP, on chart datasets. The transformers utilize the three modalities of text, image, and layout as input. We further investigate whether data augmentation and balancing methods help the performance of the models. The models are evaluated on various chart datasets, and results show that LayoutLMv3 outperforms UDOP in all experiments. LayoutLMv3 achieves the highest F1-macro score of 82.87 on the ICPR22 test dataset, beating the best-performing model from the ICPR22 CHART-Infographics challenge. Moreover, the robustness of the models is tested on a synthetic noisy dataset ICPR22-N. Finally, the generalizability of the models is evaluated on three chart datasets, CHIME-R, DeGruyter, and EconBiz, for which we added labels for the text roles. Findings indicate that even in cases where there is limited training data, transformers can be used with the help of data augmentation and balancing methods. The source code and datasets are available on GitHub under https://github.com/hjkimk/text-role-classification
• Abstract（参考訳）: テキストロール分類は、科学チャート内のテキスト要素の意味的役割を分類することを含む。 そこで本研究では,事前学習した複数モーダル文書レイアウト解析モデルであるLayoutLMv3とUDOPをグラフデータセット上で微調整することを提案する。 トランスフォーマーは入力としてテキスト、画像、レイアウトの3つのモードを使用する。 さらに,データ拡張とバランシング手法がモデルの性能向上に有効かどうかについても検討する。 その結果,LayoutLMv3 はすべての実験において UDOP よりも優れていた。 LayoutLMv3 は ICPR22 テストデータセットにおいて 82.87 のF1マクロスコアを達成し、ICPR22 CHART-Infographics チャレンジの最高のパフォーマンスモデルを上回った。 さらに、合成ノイズデータセットICPR22-N上でモデルの堅牢性をテストする。 最後に、3つのチャートデータセット、CHIME-R、DeGruyter、EconBizでモデルの一般化性を評価し、テキストロールのラベルを追加しました。 その結果、トレーニングデータに制限がある場合でも、データの強化とバランスの取れた方法でトランスフォーマーを使用することができる。 ソースコードとデータセットは、https://github.com/hjkimk/text-role-classificationでgithubで入手できる。

関連論文リスト

• Text2Chart31: Instruction Tuning for Chart Generation with Automatic Feedback [37.275533538711436]
  階層的なパイプラインとグラフ生成のための新しいデータセットを提案する。 私たちのデータセットであるText2Chart31には、Matplotlibライブラリを参照する31のユニークなプロットタイプが含まれています。 本稿では,人間からのフィードバックを必要とせず,グラフ生成タスクのための強化学習に基づく指導指導手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T07:25:56Z)
• ChartEye: A Deep Learning Framework for Chart Information Extraction [2.4936576553283287]
  本研究では,グラフ情報抽出パイプラインにおける重要なステップに対するソリューションを提供する,ディープラーニングベースのフレームワークを提案する。 提案フレームワークは階層型視覚変換器をグラフ型およびテキストロール分類のタスクに用い,YOLOv7はテキスト検出に用いた。 提案手法は,F1スコアが0.97,テキストロール分類が0.91,テキスト検出が平均0.95,各段階において優れた性能を実現している。
  論文  参考訳（メタデータ） (2024-08-28T20:22:39Z)
• Table Transformers for Imputing Textual Attributes [15.823533688884105]
  本稿では,TTITA(Imputing Textual Attributes)のためのテーブルトランスフォーマー(Table Transformer)という新しいエンドツーエンドアプローチを提案する。 提案手法は,リカレントニューラルネットワークやLlama2などのベースラインモデルよりも優れた性能を示す。 マルチタスク学習を組み込んで、不均一な列を同時にインプットし、テキストインプットの性能を高める。
  論文  参考訳（メタデータ） (2024-08-04T19:54:12Z)
• On Pre-training of Multimodal Language Models Customized for Chart Understanding [83.99377088129282]
  本稿では,MLLMのチャート理解を改善するために必要な学習過程について考察する。 詳細なチャート理解に適したMLLMであるCHOPINLLMを紹介する。
  論文  参考訳（メタデータ） (2024-07-19T17:58:36Z)
• RanLayNet: A Dataset for Document Layout Detection used for Domain Adaptation and Generalization [36.973388673687815]
  RanLayNetは、自動的に割り当てられたラベルでリッチ化された合成ドキュメントデータセットである。 本研究では,データセットでトレーニングしたディープレイアウト識別モデルに対して,実際の文書のみをトレーニングしたモデルと比較して,性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-04-15T07:50:15Z)
• ChartLlama: A Multimodal LLM for Chart Understanding and Generation [70.1393163657813]
  GPT-4を利用した高品質な命令チューニングデータセットを作成する。 次に、生成したデータセットを使ってトレーニングしたマルチモーダルな大規模言語モデルであるChartLlamaを紹介します。
  論文  参考訳（メタデータ） (2023-11-27T15:20:23Z)
• PixT3: Pixel-based Table-To-Text Generation [66.96636025277536]
  本稿では,線形化と入力サイズ制限の課題を克服するマルチモーダルテーブル・トゥ・テキスト・モデルPixT3を提案する。 ToTToとLogic2Textベンチマークの実験では、PixT3はテキストのみで動作するジェネレータよりも競争力があり、優れていることが示されている。
  論文  参考訳（メタデータ） (2023-11-16T11:32:47Z)
• Zero-shot Composed Text-Image Retrieval [72.43790281036584]
  合成画像検索(CIR)の問題点を考察する。 テキストや画像などのマルチモーダル情報を融合し、クエリにマッチする画像を正確に検索し、ユーザの表現能力を拡張できるモデルをトレーニングすることを目的としている。
  論文  参考訳（メタデータ） (2023-06-12T17:56:01Z)
• Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
  グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。 まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。 本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
  論文  参考訳（メタデータ） (2022-02-17T06:02:06Z)
• Benchmarking Multimodal AutoML for Tabular Data with Text Fields [83.43249184357053]
  テキストフィールドを含む18個のマルチモーダルデータテーブルを組み立てる。 このベンチマークにより、研究者は、数値的、分類的、テキスト的特徴を用いて教師あり学習を行うための独自の方法を評価することができる。
  論文  参考訳（メタデータ） (2021-11-04T09:29:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。