論文の概要: Application of Deep Learning in Generating Structured Radiology Reports: A Transformer-Based Technique

• arxiv url: http://arxiv.org/abs/2209.12177v1
• Date: Sun, 25 Sep 2022 08:03:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 14:01:12.163271
• Title: Application of Deep Learning in Generating Structured Radiology Reports: A Transformer-Based Technique
• Title（参考訳）: 構造化放射線学レポート作成における深層学習の応用:トランスフォーマーに基づく手法
• Authors: Seyed Ali Reza Moezzi, Abdolrahman Ghaedi, Mojdeh Rahmanian, Seyedeh Zahra Mousavi, Ashkan Sami
• Abstract要約: 自然言語処理技術は、自由テキスト形式の構造化データへの自動情報抽出と変換を容易にする。 深層学習(DL)に基づくモデルがNLP実験に適応し,有望な結果を得た。 本研究では,臨床情報抽出のための変圧器を用いた細粒度エンティティ認識アーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 0.4549831511476247
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Since radiology reports needed for clinical practice and research are written and stored in free-text narrations, extraction of relative information for further analysis is difficult. In these circumstances, natural language processing (NLP) techniques can facilitate automatic information extraction and transformation of free-text formats to structured data. In recent years, deep learning (DL)-based models have been adapted for NLP experiments with promising results. Despite the significant potential of DL models based on artificial neural networks (ANN) and convolutional neural networks (CNN), the models face some limitations to implement in clinical practice. Transformers, another new DL architecture, have been increasingly applied to improve the process. Therefore, in this study, we propose a transformer-based fine-grained named entity recognition (NER) architecture for clinical information extraction. We collected 88 abdominopelvic sonography reports in free-text formats and annotated them based on our developed information schema. The text-to-text transfer transformer model (T5) and Scifive, a pre-trained domain-specific adaptation of the T5 model, were applied for fine-tuning to extract entities and relations and transform the input into a structured format. Our transformer-based model in this study outperformed previously applied approaches such as ANN and CNN models based on ROUGE-1, ROUGE-2, ROUGE-L, and BLEU scores of 0.816, 0.668, 0.528, and 0.743, respectively, while providing an interpretable structured report.
• Abstract（参考訳）: 臨床実習や研究に必要な放射線学報告は自由テキストナレーションで書かれ, 保存されているため, さらなる分析のための相対情報の抽出は困難である。 このような状況下で、自然言語処理(NLP)技術は、自由テキスト形式の構造化データへの自動情報抽出と変換を容易にする。 近年,深層学習(DL)に基づくモデルがNLP実験に応用され,有望な結果が得られた。 ニューラルネットワーク (ann) と畳み込みニューラルネットワーク (cnn) に基づくdlモデルの有意な可能性にもかかわらず、このモデルは臨床実践においていくつかの限界に直面している。 もうひとつの新しいDLアーキテクチャであるTransformersは、プロセス改善にますます適用されています。 そこで本研究では, 臨床情報抽出のためのトランスフォーマティブに基づく細粒度エンティティ認識(ner)アーキテクチャを提案する。 自由テキスト形式で88のabdominopelvic超音波像を収集し,開発した情報スキーマに基づいて注釈を付した。 t5モデルの事前学習されたドメイン固有適応であるtext-to-text transfer transformer model (t5) と scifive を用いて、エンティティとリレーションを抽出し、入力を構造化されたフォーマットに変換する。 本研究におけるトランスフォーマティブベースモデルは, rouge-1, rouge-2, rouge-l, およびbleuスコア 0.816, 0.668, 0.528, 0.743 に基づく ann および cnn モデルのように, 解釈可能な構造化レポートを提供しつつ, 従来適用されていたアプローチよりも優れていた。

関連論文リスト

• Application of Transformers based methods in Electronic Medical Records: A Systematic Literature Review [77.34726150561087]
  本研究は,異なるNLPタスクにおける電子カルテ(EMR)のトランスフォーマーに基づく手法を用いて,最先端技術に関する体系的な文献レビューを行う。
  論文  参考訳（メタデータ） (2023-04-05T22:19:42Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)
• Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines [4.876281217951695]
  NLPベースのコンピュータビジョンモデル、特に視覚変換器は、多くの画像処理タスクにおいてCNNモデルより優れていることが示されている。 我々は,最近提案された5つのNLPモデルと4つのCNNモデルをベンチマークするために,デジタル病理パイプラインを開発した。 我々のNLPモデルは、比較的小さなトレーニングデータセットを用いて、3つのバイオマーカー全てに対して最先端の予測を達成した。
  論文  参考訳（メタデータ） (2023-02-21T02:42:03Z)
• Low-Resource Music Genre Classification with Cross-Modal Neural Model Reprogramming [129.4950757742912]
  ニューラルモデル再プログラミング(NMR)の概念に基づく低リソース(音楽)分類のための事前学習モデルを活用する新しい手法を提案する。 NMRは、凍結した事前学習モデルの入力を変更することにより、ソースドメインからターゲットドメインへの事前学習モデルの再取得を目指している。 実験結果から,大規模データセットに事前学習したニューラルモデルは,この再プログラミング手法を用いて,音楽ジャンルの分類に成功できることが示唆された。
  論文  参考訳（メタデータ） (2022-11-02T17:38:33Z)
• Clinical Relation Extraction Using Transformer-based Models [28.237302721228435]
  我々は,BERT,RoBERTa,XLNetという3つのトランスフォーマーアーキテクチャに基づいた臨床REモデルを開発した。 我々は、RoBERTa-clinical REモデルが2018 MADE1.0データセットにおいて、F1スコア0.8958で最高のパフォーマンスを達成したことを実証した。 以上より, 臨床関係抽出における二分分類法は多クラス分類法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2021-07-19T15:15:51Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Reprogramming Language Models for Molecular Representation Learning [65.00999660425731]
  本稿では,分子学習タスクのための事前学習言語モデルに対して,辞書学習(R2DL)による表現再プログラミングを提案する。 対比プログラムは、k-SVDソルバを用いて、高密度ソースモデル入力空間(言語データ)とスパースターゲットモデル入力空間(例えば、化学および生物学的分子データ)との間の線形変換を学習する。 R2DLは、ドメイン固有のデータに基づいて訓練されたアート毒性予測モデルの状態によって確立されたベースラインを達成し、限られたトレーニングデータ設定でベースラインを上回る。
  論文  参考訳（メタデータ） (2020-12-07T05:50:27Z)
• Democratizing Artificial Intelligence in Healthcare: A Study of Model Development Across Two Institutions Incorporating Transfer Learning [8.043077408518826]
  トランスファーラーニング(TL)は、非常に小さなローカルデータセットを使用して、ある機関から完全に訓練されたモデルを他の機関によって微調整することを可能にする。 本稿では,基本的なユースケースを対象としたAIモデル開発におけるTLの課題,方法論,メリットについて述べる。
  論文  参考訳（メタデータ） (2020-09-25T21:12:50Z)
• Compression of Deep Learning Models for Text: A Survey [6.532867867011488]
  近年,自然言語処理 (NLP) や情報検索 (IR) の分野では大きな進歩を遂げている。 Recurrent Neural Networks (RNN)、Gated Recurrent Units (GRUs)、Long Short-Term Memory (LSTMs)networks、Transformer [120]などのディープラーニングモデル(BERT) [24]、Generative Pre-training Transformer (GPT-2) [94]、Multi-task Deep Neural Network (MT-DNN) [73]、Extra-Long Network (XLNet) [134]、Text-to-text Transferなど)。
  論文  参考訳（メタデータ） (2020-08-12T10:42:14Z)
• Improved Code Summarization via a Graph Neural Network [96.03715569092523]
  一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。 これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:36:42Z)
• The Utility of General Domain Transfer Learning for Medical Language Tasks [1.5459429010135775]
  本研究の目的は,医療自然言語処理(NLP)タスクに適用したトランスファーラーニング手法とトランスフォーマーベースモデルの有効性を解析することである。 一般的なテキスト転送学習は、放射線コーパス上の医学的NLPタスクにおいて、最先端の結果を生成するための有効な技術である可能性がある。
  論文  参考訳（メタデータ） (2020-02-16T20:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。