論文の概要: ChatSchema: A pipeline of extracting structured information with Large Multimodal Models based on schema
- arxiv url: http://arxiv.org/abs/2407.18716v1
- Date: Fri, 26 Jul 2024 13:05:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-29 13:30:50.909148
- Title: ChatSchema: A pipeline of extracting structured information with Large Multimodal Models based on schema
- Title（参考訳）: ChatSchema: スキーマに基づいた大規模マルチモーダルモデルによる構造化情報抽出パイプライン
- Authors: Fei Wang, Yuewen Zheng, Qin Li, Jingyi Wu, Pengfei Li, Luxia Zhang,
- Abstract要約: チャットは,非構造化データから情報を抽出し,構造化するための有効な方法である。
我々は北京大学第一病院から100件の医療報告を分析し,2,945対の鍵値のペアを用いた地上真実データセットを構築した。
- 参考スコア（独自算出の注目度）: 13.06247238452398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Objective: This study introduces ChatSchema, an effective method for extracting and structuring information from unstructured data in medical paper reports using a combination of Large Multimodal Models (LMMs) and Optical Character Recognition (OCR) based on the schema. By integrating predefined schema, we intend to enable LMMs to directly extract and standardize information according to the schema specifications, facilitating further data entry. Method: Our approach involves a two-stage process, including classification and extraction for categorizing report scenarios and structuring information. We established and annotated a dataset to verify the effectiveness of ChatSchema, and evaluated key extraction using precision, recall, F1-score, and accuracy metrics. Based on key extraction, we further assessed value extraction. We conducted ablation studies on two LMMs to illustrate the improvement of structured information extraction with different input modals and methods. Result: We analyzed 100 medical reports from Peking University First Hospital and established a ground truth dataset with 2,945 key-value pairs. We evaluated ChatSchema using GPT-4o and Gemini 1.5 Pro and found a higher overall performance of GPT-4o. The results are as follows: For the result of key extraction, key-precision was 98.6%, key-recall was 98.5%, key-F1-score was 98.6%. For the result of value extraction based on correct key extraction, the overall accuracy was 97.2%, precision was 95.8%, recall was 95.8%, and F1-score was 95.8%. An ablation study demonstrated that ChatSchema achieved significantly higher overall accuracy and overall F1-score of key-value extraction, compared to the Baseline, with increases of 26.9% overall accuracy and 27.4% overall F1-score, respectively.
- Abstract（参考訳）: 目的: 本研究は, 大規模マルチモーダルモデル (LMM) と光学文字認識 (OCR) を組み合わせて, 医用紙の非構造化データから情報を抽出し, 構造化する効果的な方法であるChatSchemaを紹介する。
事前定義されたスキーマを統合することで、LMMがスキーマ仕様に従って情報を直接抽出し、標準化できるようにし、さらなるデータ入力を容易にする。
方法:本手法は,報告シナリオの分類と情報構造化のための分類と抽出を含む2段階のプロセスを含む。
また,ChatSchemaの有効性を検証するためのデータセットを構築し,精度,リコール,F1スコア,精度の指標を用いてキー抽出を評価した。
キー抽出に基づいて,さらに値抽出を評価した。
我々は2つのLMMのアブレーション実験を行い、異なる入力モードと手法による構造化情報抽出の改善を実証した。
結果: 北京大学第一病院の医療報告100件を解析し, 2,945対の鍵値のペアを用いた地上真実データセットを構築した。
GPT-4o と Gemini 1.5 Pro を用いて ChatSchema の評価を行い,GPT-4o の全体的な性能が向上した。
キー抽出の結果、キー精度は98.6%、キーリコールは98.5%、キーF1スコアは98.6%であった。
正しい鍵抽出に基づく値抽出の結果、全体的な精度は97.2%、精度は95.8%、リコールは95.8%、F1スコアは95.8%であった。
アブレーションによる研究では、ChatSchemaはベースラインに比べて、全体的な精度と鍵値抽出の全体的なF1スコアが大幅に向上し、それぞれ26.9%の精度と27.4%のF1スコアが増加した。
関連論文リスト
- Deep Learning Approach for Enhancing Oral Squamous Cell Carcinoma with LIME Explainable AI Technique [0.0]
データセットは5192イメージ(2435ノーマルと2511 OSCC)で構成されている。
本研究では,ResNet101,DenseNet121,VGG16,EfficientnetB3の4つのディープラーニングアーキテクチャを選択した。
効率の良いNetB3は98.33%とF1スコア(0.9844)で最高であり、他のモデルと比べて計算能力は著しく低下した。
論文 参考訳（メタデータ） (2024-11-21T14:53:59Z) - Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs [54.05511925104712]
本稿では,Step-DPOと呼ばれるシンプルで効果的でデータ効率のよい手法を提案する。
Step-DPOは、個々の推論ステップを、論理的に回答を評価するのではなく、優先最適化の単位として扱う。
以上の結果から,70B パラメータ以上のモデルでは,10K の選好データペアと500 Step-DPO トレーニングステップ以下では,MATH の精度が約3%向上する可能性が示唆された。
論文 参考訳（メタデータ） (2024-06-26T17:43:06Z) - Clustering and Ranking: Diversity-preserved Instruction Selection through Expert-aligned Quality Estimation [56.13803674092712]
本稿では,産業に優しく,専門家に順応し,多様性に配慮した指導データ選択手法を提案する:クラスタリングとランキング(CaR)
CaRは2段階のプロセスを採用している: まず、専門家の好みに合わせた高精度(84.25%)のスコアリングモデルを使用して、命令ペアをランク付けする。
我々の実験では、CaRはAlpacaのITデータのわずか1.96%を効率よく選択したが、結果のAlpaCaRモデルはGPT-4の評価において平均32.1%の精度でAlpacaのパフォーマンスを上回った。
論文 参考訳（メタデータ） (2024-02-28T09:27:29Z) - Distantly Supervised Morpho-Syntactic Model for Relation Extraction [0.27195102129094995]
テキストから制約のない関係の集合を抽出し分類する手法を提案する。
ウィキデータとウィキペディア上に構築された6つのデータセットに対するアプローチを評価した。
論文 参考訳（メタデータ） (2024-01-18T14:17:40Z) - General-Purpose vs. Domain-Adapted Large Language Models for Extraction of Structured Data from Chest Radiology Reports [5.953255276042551]
ドメイン適応言語モデル(RadLing)と汎用LLM(GPT-4)を用いたシステムの比較
3人の放射線学者が1399の胸部XRレポート(900のトレーニング、499のテスト)の振り返りデータセットに注釈を付け、44の関連CDEにマッピングした。
RadLingのドメイン適応型埋め込みは特徴抽出において改善され、軽量マッパーはCDEの割り当てにおいてf1スコアが向上した。
論文 参考訳（メタデータ） (2023-11-28T20:34:40Z) - AMuRD: Annotated Arabic-English Receipt Dataset for Key Information Extraction and Classification [14.386767741945256]
AMuRDは、レシートから情報を取り出すために特別に設計された、新しい多言語人間アノテーション付きデータセットである。
各サンプルには、アイテム名や価格、ブランドなどの属性のアノテーションが含まれている。
この詳細なアノテーションはレシート上の各項目の包括的な理解を促進する。
論文 参考訳（メタデータ） (2023-09-18T14:18:19Z) - Retrosynthesis Prediction with Local Template Retrieval [112.23386062396622]
特定の標的分子の反応を予測する再合成は、薬物発見に必須の課題である。
本稿では,局所的な反応テンプレート検索手法であるRetroKNNを紹介する。
我々は、広く使われている2つのベンチマーク、USPTO-50KとUSPTO-MITで包括的な実験を行う。
論文 参考訳（メタデータ） (2023-06-07T03:38:03Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - Detecting automatically the layout of clinical documents to enhance the
performances of downstream natural language processing [53.797797404164946]
我々は,臨床用PDF文書を処理し,臨床用テキストのみを抽出するアルゴリズムを設計した。
このアルゴリズムは、PDFを使った最初のテキスト抽出と、続いてボディテキスト、左書き、フッタなどのカテゴリに分類される。
それぞれのセクションのテキストから興味ある医学的概念を抽出し,医療的パフォーマンスを評価した。
論文 参考訳（メタデータ） (2023-05-23T08:38:33Z) - piSAAC: Extended notion of SAAC feature selection novel method for
discrimination of Enzymes model using different machine learning algorithm [13.921567068182132]
piSAACという新しい分割アミノ酸合成モデルを提案する。
タンパク質配列は等しくバランスの取れた末端で識別され、配列の固有相関性を完全に評価する。
論文 参考訳（メタデータ） (2020-12-16T03:45:21Z) - A Novel Approach to Radiometric Identification [68.8204255655161]
本稿では,CAPoNeFの特徴工学的手法を用いて,高精度なラジオメトリック同定が可能であることを実証する。
SDRで収集した実験データに基づいて,基本的なML分類アルゴリズムを検証した。
論文 参考訳（メタデータ） (2020-12-02T10:54:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。