論文の概要: Evaluating Large Language Models for Radiology Natural Language Processing

• arxiv url: http://arxiv.org/abs/2307.13693v2
• Date: Thu, 27 Jul 2023 12:58:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-28 11:30:32.596282
• Title: Evaluating Large Language Models for Radiology Natural Language Processing
• Title（参考訳）: ラジオロジー自然言語処理のための大規模言語モデルの評価
• Authors: Zhengliang Liu, Tianyang Zhong, Yiwei Li, Yutong Zhang, Yi Pan, Zihao Zhao, Peixin Dong, Chao Cao, Yuxiao Liu, Peng Shu, Yaonai Wei, Zihao Wu, Chong Ma, Jiaqi Wang, Sheng Wang, Mengyue Zhou, Zuowei Jiang, Chunlin Li, Jason Holmes, Shaochen Xu, Lu Zhang, Haixing Dai, Kai Zhang, Lin Zhao, Yuanhao Chen, Xu Liu, Peilong Wang, Pingkun Yan, Jun Liu, Bao Ge, Lichao Sun, Dajiang Zhu, Xiang Li, Wei Liu, Xiaoyan Cai, Xintao Hu, Xi Jiang, Shu Zhang, Xin Zhang, Tuo Zhang, Shijie Zhao, Quanzheng Li, Hongtu Zhu, Dinggang Shen, Tianming Liu
• Abstract要約: 大規模言語モデル(LLM)の台頭は、自然言語処理(NLP)分野における重要な転換点となっている。 本研究は, 放射線学報告の解釈において, 30 個の LLM を批判的に評価することにより, このギャップを埋めることを目指している。
• 参考スコア（独自算出の注目度）: 68.98847776913381
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rise of large language models (LLMs) has marked a pivotal shift in the field of natural language processing (NLP). LLMs have revolutionized a multitude of domains, and they have made a significant impact in the medical field. Large language models are now more abundant than ever, and many of these models exhibit bilingual capabilities, proficient in both English and Chinese. However, a comprehensive evaluation of these models remains to be conducted. This lack of assessment is especially apparent within the context of radiology NLP. This study seeks to bridge this gap by critically evaluating thirty two LLMs in interpreting radiology reports, a crucial component of radiology NLP. Specifically, the ability to derive impressions from radiologic findings is assessed. The outcomes of this evaluation provide key insights into the performance, strengths, and weaknesses of these LLMs, informing their practical applications within the medical domain.
• Abstract（参考訳）: 大規模言語モデル(LLM)の台頭は、自然言語処理(NLP)分野における重要な転換点となっている。 LLMは多くの領域に革命をもたらし、医療分野に大きな影響を与えた。 大規模な言語モデルはこれまで以上に豊富であり、これらのモデルの多くは英語と中国語の両方に熟達したバイリンガル機能を持っている。 しかし、これらのモデルの総合的な評価は行われていない。 この評価の欠如は放射線学におけるNLPの文脈において特に顕著である。 本研究は, 放射線学NLPの重要な構成要素である放射線学レポートの解釈において, 30 個の LLM を批判的に評価することにより, このギャップを埋めることを目指している。 具体的には,放射線学的所見から印象を導き出す能力を評価する。 この評価の結果は、これらのLSMの性能、強度、弱点に関する重要な洞察を与え、医療領域内での実践的応用を示す。

関連論文リスト

• The current status of large language models in summarizing radiology report impressions [13.402769727597812]
  大きな言語モデル(LLMs)が放射線学レポートの印象を要約する効果は、まだ不明である。 北京大学医学部附属病院からCT,PET-CT,超音波の3種類の放射線学報告を収集した。 本報告では,ゼロショット,ワンショット,3ショットのプロンプトを完全な実例で構築し,インプレッションを生成する。
  論文  参考訳（メタデータ） (2024-06-04T09:23:30Z)
• Lessons from the Trenches on Reproducible Evaluation of Language Models [60.522749986793094]
  我々は,大規模言語モデルの評価を3年間経験し,研究者に指導とレッスンを提供してきた。 本稿では,言語モデルの独立性,再現性,評価を行うオープンソースライブラリであるLanguage Model Evaluation Harness(lm-eval)を紹介する。
  論文  参考訳（メタデータ） (2024-05-23T16:50:49Z)
• D-NLP at SemEval-2024 Task 2: Evaluating Clinical Inference Capabilities of Large Language Models [5.439020425819001]
  大規模言語モデル(LLM)は、様々なタスクにおける顕著なパフォーマンスのために、大きな注目を集め、広く使われている。 しかし、幻覚、事実的矛盾、数値的定量的推論の限界などの問題を含む、彼ら自身の課題は存在しない。
  論文  参考訳（メタデータ） (2024-05-07T10:11:14Z)
• Can Large Language Models abstract Medical Coded Language? [0.0]
  大規模言語モデル(LLM)は医療コードを認識しており、これらのコードから正確に名前を生成することができる。 本研究は,大規模言語モデル(LLM)が医療コードを認識し,それらのコードから正確に名前を生成することができるかどうかを評価する。
  論文  参考訳（メタデータ） (2024-03-16T06:18:15Z)
• Unveiling Linguistic Regions in Large Language Models [49.298360366468934]
  大規模言語モデル (LLM) は言語間アライメントと一般化能力を示す。 本稿では,LLMの言語能力に関するいくつかの調査を行う。
  論文  参考訳（メタデータ） (2024-02-22T16:56:13Z)
• DAEDRA: A language model for predicting outcomes in passive pharmacovigilance reporting [0.0]
  DAEDRAは、有害事象報告における規制関連結果を検出するために設計された大きな言語モデルである。 本稿では,DAEDRAの概念,設計,訓練,評価について述べる。
  論文  参考訳（メタデータ） (2024-02-10T16:48:45Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• Multilingual Natural Language Processing Model for Radiology Reports -- The Summary is all you need! [2.4910932804601855]
  マルチリンガルテキスト・トゥ・テキスト・トランスフォーマに基づくモデルを微調整することで、放射線学印象の生成を自動化した。 ブラインドテストでは、2人の放射線学者が、システム生成サマリーのうち少なくとも70%は、品質が対応する人文サマリーと一致または上回っていることを示した。 本研究は,複数の言語モデルにおいて,放射線学レポートの要約に特化している他のモデルと,特に放射線学レポートの要約に特化していないモデルとを比較検討した。
  論文  参考訳（メタデータ） (2023-09-29T19:20:27Z)
• Radiology-Llama2: Best-in-Class Large Language Model for Radiology [71.27700230067168]
  本稿では,ラジオロジーに特化した大規模言語モデルであるRadiology-Llama2を紹介する。 MIMIC-CXRとOpenIデータセットのROUGEメトリクスを用いた定量的評価は、Radiology-Llama2が最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-08-29T17:44:28Z)
• Radiology-GPT: A Large Language Model for Radiology [74.07944784968372]
  本稿では,ラジオロジーのための大規模言語モデルであるRadiology-GPTを紹介する。 StableLM、Dolly、LLaMAといった一般的な言語モデルと比較して、優れたパフォーマンスを示している。 放射線診断、研究、通信において大きな汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-14T17:57:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。