論文の概要: Technical Report: Small Language Model for Japanese Clinical and Medicine

• arxiv url: http://arxiv.org/abs/2412.16423v1
• Date: Sat, 21 Dec 2024 01:12:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:01:43.636950
• Title: Technical Report: Small Language Model for Japanese Clinical and Medicine
• Title（参考訳）: 臨床・医学における小言語モデル
• Authors: Shogo Watanabe,
• Abstract要約: 本報告では, NCVC-slm-1 という名称の日本臨床・医学用小言語モデル (SLM) を提案する。 他の大規模言語モデルと比較して、NCVC-slm-1は、JMED-LLMで合計8のタスクで最高スコアを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This report presents a small language model (SLM) for Japanese clinical and medicine, named NCVC-slm-1. This 1B parameters model was trained using Japanese text classified to be of high-quality. Moreover, NCVC-slm-1 was augmented with respect to clinical and medicine content that includes the variety of diseases, drugs, and examinations. Using a carefully designed pre-processing, a specialized morphological analyzer and tokenizer, this small and light-weight model performed not only to generate text but also indicated the feasibility of understanding clinical and medicine text. In comparison to other large language models, a fine-tuning NCVC-slm-1 demonstrated the highest scores on 6 tasks of total 8 on JMED-LLM. According to this result, SLM indicated the feasibility of performing several downstream tasks in the field of clinical and medicine. Hopefully, NCVC-slm-1 will be contributed to develop and accelerate the field of clinical and medicine for a bright future.
• Abstract（参考訳）: 本報告では, NCVC-slm-1 という名称の日本臨床・医学用小言語モデル (SLM) を提案する。 この1Bパラメータモデルは,高品質と分類された日本語テキストを用いて訓練した。 さらに, NCVC-slm-1は, 各種疾患, 薬物, 検査を含む臨床, 医学的内容に関して増強された。 念入りに設計した前処理, 特殊形態解析器, トークン化器を用いて, この小型軽量モデルは, テキスト生成だけでなく, 臨床および医学的テキストの理解の可能性も示唆した。 他の大規模言語モデルと比較して、NCVC-slm-1は、JMED-LLMで合計8のタスクで最高スコアを示した。 以上より,SLMは臨床・医学分野でいくつかの下流業務を行うことの可能性を示した。 NCVC-slm-1は、将来、臨床および医学の分野の発展と加速に寄与することが望まれる。

関連論文リスト

• CliMedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models in Clinical Scenarios [50.032101237019205]
  CliMedBenchは、14のエキスパートによるコア臨床シナリオを備えた総合的なベンチマークである。 このベンチマークの信頼性はいくつかの点で確認されている。
  論文  参考訳（メタデータ） (2024-10-04T15:15:36Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• ClinicalMamba: A Generative Clinical Language Model on Longitudinal Clinical Notes [6.921652448124103]
  本研究は,マンバ語モデルの特殊版であるクリニカルマンバについて概説する。 1億3000万のパラメータと280億のパラメータを持つクリニカルマンバは、テキストの長さを延ばす臨床言語をモデル化する上で優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-03-09T04:58:25Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• Extraction of Medication and Temporal Relation from Clinical Text using Neural Language Models [7.698164945017469]
  textbfMedTemプロジェクトは、BiLSTM-CRFやCNN-BiLSTMなどの先進的な学習構造を使用している。 CNN-BiLSTMは、i2b2-2009 臨床 NER タスクにおいて、精度、リコール、F1 スコアに対して 75.67, 77.83, 78.17 の BiLSTM-CRF モデルにわずかに勝っている。 BERT-CNNモデルは、マクロAvgを使用してP/R/F1の64.48、67.17、65.03の評価スコアも生成した。
  論文  参考訳（メタデータ） (2023-10-03T17:37:22Z)
• A Zero-shot and Few-shot Study of Instruction-Finetuned Large Language Models Applied to Clinical and Biomedical Tasks [7.542019351929903]
  我々は4つの言語モデル(LLM)を評価する。 英語における13のリアル・ワールド・クリニカル・バイオメディカル・自然言語処理(NLP)タスクについて
  論文  参考訳（メタデータ） (2023-07-22T15:58:17Z)
• Do We Still Need Clinical Language Models? [15.023633270864675]
  比較的小さな専門的な臨床モデルでは、コンテキスト内学習のアプローチが大幅に優れていることを示す。 physioNet Credentialed Health Dataライセンスとデータ使用契約の下で使用されるコードとモデルをリリースします。
  論文  参考訳（メタデータ） (2023-02-16T05:08:34Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)
• GatorTron: A Large Clinical Language Model to Unlock Patient Information from Unstructured Electronic Health Records [22.652798872046283]
  電子健康記録(EHR)を処理・解釈する人工知能(AI)システムの開発への関心が高まっている。 臨床言語モデルはほとんどないが、臨床領域で訓練された言語のうち最大のものは、比較的小さい1億1000万のパラメータである。 何十億ものパラメータを持つ大規模臨床言語モデルが、医療AIシステムが非構造化のEHRを利用するのにどの程度役立つかは明らかではない。
  論文  参考訳（メタデータ） (2022-02-02T14:28:51Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• Benchmarking Automated Clinical Language Simplification: Dataset, Algorithm, and Evaluation [48.87254340298189]
  我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。 我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-12-04T06:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。