論文の概要: PMC-LLaMA: Further Finetuning LLaMA on Medical Papers

• arxiv url: http://arxiv.org/abs/2304.14454v2
• Date: Sat, 20 May 2023 08:32:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 03:12:07.172503
• Title: PMC-LLaMA: Further Finetuning LLaMA on Medical Papers
• Title（参考訳）: PMC-LLaMA : 医療用紙におけるLLaMAのさらなる微細化
• Authors: Chaoyi Wu, Xiaoman Zhang, Ya Zhang, Yanfeng Wang, Weidi Xie
• Abstract要約: PMC-LLaMAは、合計480万のバイオメディカル学術論文に基づいて、オープンソースの言語モデルを微調整することによって取得される。 予備評価は,PubMedQA,MedMCQA,USMLEの3つのバイオメディカルQAデータセットを用いて行った。 モデルとコードはオンラインデモとともに公開されている。
• 参考スコア（独自算出の注目度）: 40.52487429030841
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have showcased remarkable capabilities in natural language understanding in various domains. These models can usually behave well on daily dialog, or question answering scenarios, however, in areas that value precision, for example, in medical applications, they often exhibit unsatisfactory performance due to a lack of domain-specific knowledge. In this report, we introduce PMC-LLaMA, an open-source language model that is acquired by fine-tuning an open-source language model on a total of 4.8 million biomedical academic papers for further injecting medical knowledge, enhancing its capability in medical domain. Our preliminary evaluations are conducted on three biomedical QA datasets, including PubMedQA, MedMCQA, and USMLE, showing that the our model after finetuning, i.e., PMC-LLaMA, demonstrates better understanding of biomedical domain-specific concepts, thus achieving high performance on QA benchmarks. The model and codes, along with an online demo, are publicly available.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域における自然言語理解において顕著な能力を示した。 これらのモデルは、通常、日々の対話や質問応答のシナリオでうまく振る舞うことができるが、例えば医学的応用において、ドメイン固有の知識が欠如しているため、しばしば満足できないパフォーマンスを示す。 本稿では,オープンソース言語モデルである PMC-LLaMA について紹介する。PMC-LLaMA は,バイオメディカル学術論文を総計480万件に微調整し,医療分野におけるその能力を高めたオープンソース言語モデルである。 予備評価はPubMedQA, MedMCQA, USMLEの3つの生物医学的QAデータセットを用いて行われ, 微調整後のモデル, PMC-LLaMAが生物医学的ドメイン固有の概念をよりよく理解し, QAベンチマークで高い性能を発揮することを示す。 モデルとコードに加えて、オンラインデモも公開されている。

関連論文リスト

• A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
  医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。 本稿では,MVLMの概要と適用した各種医療課題について概観する。 また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
  論文  参考訳（メタデータ） (2024-11-19T03:27:05Z)
• Adapting LLMs for the Medical Domain in Portuguese: A Study on Fine-Tuning and Model Evaluation [1.922611370494431]
  本研究は,ポルトガル語における医療エージェントとしての大規模言語モデル(LLM)の性能を評価する。 InternLM2モデルは、当初医療データに関するトレーニングを受けており、全体的なパフォーマンスが最高であった。 ChatBodeから派生したDrBodeモデルは、取得した医療知識を壊滅的に忘れる現象を示した。
  論文  参考訳（メタデータ） (2024-09-30T19:10:03Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• MedEval: A Multi-Level, Multi-Task, and Multi-Domain Medical Benchmark for Language Model Evaluation [22.986061896641083]
  MedEvalは、医療のための言語モデルの開発を促進するために、マルチレベル、マルチタスク、マルチドメインの医療ベンチマークである。 22,779の文と21,228のレポートを収集し、専門家のアノテーションを複数のレベルで提供し、データの詳細な使用可能性を提供します。
  論文  参考訳（メタデータ） (2023-10-21T18:59:41Z)
• A Unified Framework of Medical Information Annotation and Extraction for Chinese Clinical Text [1.4841452489515765]
  現在の最先端(SOTA)NLPモデルは、ディープラーニング技術と高度に統合されている。 本研究では,医学的実体認識,関係抽出,属性抽出の工学的枠組みを提案する。
  論文  参考訳（メタデータ） (2022-03-08T03:19:16Z)
• Knowledge-Empowered Representation Learning for Chinese Medical Reading Comprehension: Task, Model and Resources [36.960318276653986]
  医療領域を対象としたマルチターゲットMRCタスクを導入し,医療質問に対する回答とそれに対応する文章を同時に予測することを目的とする。 本稿では, 医学知識を事前学習言語モデルに融合させる, タスクのための中国の医療用BERTモデル(CMedBERT)を提案する。 実験の結果,CMedBERTはコンテキスト認識と知識認識のトークン表現を融合することにより,強いベースラインを一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2020-08-24T11:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。