論文の概要: RadLing: Towards Efficient Radiology Report Understanding

• arxiv url: http://arxiv.org/abs/2306.02492v1
• Date: Sun, 4 Jun 2023 21:53:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 17:37:30.726934
• Title: RadLing: Towards Efficient Radiology Report Understanding
• Title（参考訳）: radling: 効率的なx線レポート理解に向けて
• Authors: Rikhiya Ghosh, Sanjeev Kumar Karn, Manuela Daniela Danu, Larisa Micu, Ramya Vunikili and Oladimeji Farri
• Abstract要約: 放射線学領域におけるほとんどの自然言語タスクは、バイオメディカルコーパスで事前訓練された言語モデルを使用する。 本稿では,Electra-Smallアーキテクチャを用いた連続事前学習型言語モデルRadLingを提案する。 我々の主な貢献は、分類学的知識支援事前訓練タスクである知識認識マスキングである。
• 参考スコア（独自算出の注目度）: 1.1055464884925956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most natural language tasks in the radiology domain use language models pre-trained on biomedical corpus. There are few pretrained language models trained specifically for radiology, and fewer still that have been trained in a low data setting and gone on to produce comparable results in fine-tuning tasks. We present RadLing, a continuously pretrained language model using Electra-small (Clark et al., 2020) architecture, trained using over 500K radiology reports, that can compete with state-of-the-art results for fine tuning tasks in radiology domain. Our main contribution in this paper is knowledge-aware masking which is a taxonomic knowledge-assisted pretraining task that dynamically masks tokens to inject knowledge during pretraining. In addition, we also introduce an knowledge base-aided vocabulary extension to adapt the general tokenization vocabulary to radiology domain.
• Abstract（参考訳）: 放射線医学領域のほとんどの自然言語タスクは、生物医学コーパスで事前訓練された言語モデルを使用する。 放射線学に特化して訓練された事前訓練された言語モデルはほとんどなく、低いデータ設定でトレーニングされたまま、微調整タスクで同等の結果を生み出すものも少なくない。 我々は,Electra-Small (Clark et al., 2020) アーキテクチャを用いた連続事前学習型言語モデルであるRadLingについて,500K以上の放射線学レポートを用いて訓練し,最新の成果と競合し,放射線学領域の微調整処理を行う。 本研究の主な貢献は,事前学習中にトークンを動的にマスキングして知識を注入する,分類学知識支援事前学習タスクである知識認識マスキングである。 また,一般トークン化語彙をラジオロジー領域に適用するための知識ベース支援語彙拡張も導入した。

関連論文リスト

• ChatRadio-Valuer: A Chat Large Language Model for Generalizable Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
  ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。 本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。 ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
  論文  参考訳（メタデータ） (2023-10-08T17:23:17Z)
• Can Prompt Learning Benefit Radiology Report Generation? [24.03963806122309]
  本稿では,事前学習を利用した事前学習モデルと事前知識を取り入れたPromptRRGを提案する。 本研究は,放射線学レポート生成における即時学習の有効性を体系的に検証する最初の試みである。
  論文  参考訳（メタデータ） (2023-08-30T18:58:32Z)
• Radiology-Llama2: Best-in-Class Large Language Model for Radiology [71.27700230067168]
  本稿では,ラジオロジーに特化した大規模言語モデルであるRadiology-Llama2を紹介する。 MIMIC-CXRとOpenIデータセットのROUGEメトリクスを用いた定量的評価は、Radiology-Llama2が最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-08-29T17:44:28Z)
• Radiology-GPT: A Large Language Model for Radiology [74.07944784968372]
  本稿では,ラジオロジーのための大規模言語モデルであるRadiology-GPTを紹介する。 StableLM、Dolly、LLaMAといった一般的な言語モデルと比較して、優れたパフォーマンスを示している。 放射線診断、研究、通信において大きな汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-14T17:57:24Z)
• XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
  我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。 胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。 自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
  論文  参考訳（メタデータ） (2023-06-13T17:59:59Z)
• Mitigating Data Scarcity for Large Language Models [7.259279261659759]
  近年,事前学習型ニューラルネットワークモデル (PNLM) が嵐による自然言語処理の分野に進出している。 データ不足は、医学などの専門分野や、AI研究によって調査されていない低リソース言語でよく見られる。 この論文では、データ強化とニューラルアンサンブル学習技術を用いて、データの不足を軽減することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-02-03T15:17:53Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Neural Natural Language Processing for Unstructured Data in Electronic Health Records: a Review [4.454501609622817]
  EHRに格納されている情報の約半数は、構造化されていないテキストの形式である。 自然言語処理への深層学習アプローチは、かなりの進歩を遂げた。 タスクの幅広い範囲、すなわち分類と予測、単語の埋め込み、抽出、生成、その他のトピックに焦点を当てる。
  論文  参考訳（メタデータ） (2021-07-07T01:50:02Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• Clinical Predictive Keyboard using Statistical and Neural Language Modeling [9.124863267715675]
  我々は, ニューラルネットワークモデルにより, 放射線学報告において51.3%の精度が得られることを示した。 モデルが頻繁な言葉でしか使われなくても、医師は貴重な時間を節約できる。
  論文  参考訳（メタデータ） (2020-06-22T07:20:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。