論文の概要: JRadiEvo: A Japanese Radiology Report Generation Model Enhanced by Evolutionary Optimization of Model Merging

• arxiv url: http://arxiv.org/abs/2411.09933v1
• Date: Fri, 15 Nov 2024 04:16:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:39:44.430440
• Title: JRadiEvo: A Japanese Radiology Report Generation Model Enhanced by Evolutionary Optimization of Model Merging
• Title（参考訳）: JRadiEvo: モデルマージの進化的最適化により強化された日本の放射線学レポート生成モデル
• Authors: Kaito Baba, Ryota Yagi, Junichiro Takahashi, Risa Kishikawa, Satoshi Kodera,
• Abstract要約: 我々は、公開データから50の翻訳サンプルのみを用いて、X線画像から正確な日本語レポートを生成するモデルを作成する。 80億のパラメータしか持たないこの比較的コンパクトな基礎モデルは、病院内でローカルに展開できる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: With the rapid advancement of large language models (LLMs), foundational models (FMs) have seen significant advancements. Healthcare is one of the most crucial application areas for these FMs, given the significant time and effort required for physicians to analyze large volumes of patient data. Recent efforts have focused on adapting multimodal FMs to the medical domain through techniques like instruction-tuning, leading to the development of medical foundation models (MFMs). However, these approaches typically require large amounts of training data to effectively adapt models to the medical field. Moreover, most existing models are trained on English datasets, limiting their practicality in non-English-speaking regions where healthcare professionals and patients are not always fluent in English. The need for translation introduces additional costs and inefficiencies. To address these challenges, we propose a \textbf{J}apanese \textbf{Radi}ology report generation model enhanced by \textbf{Evo}lutionary optimization of model merging (JRadiEvo). This is the first attempt to extend a non-medical vision-language foundation model to the medical domain through evolutionary optimization of model merging. We successfully created a model that generates accurate Japanese reports from X-ray images using only 50 translated samples from publicly available data. This model, developed with highly efficient use of limited data, outperformed leading models from recent research trained on much larger datasets. Additionally, with only 8 billion parameters, this relatively compact foundation model can be deployed locally within hospitals, making it a practical solution for environments where APIs and other external services cannot be used due to strict privacy and security requirements.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩により、基礎モデル(FM)は大幅に進歩した。 医師が大量の患者データを分析するのに必要な時間と労力を考えると、医療はこれらのFMの最も重要な応用分野の1つである。 近年,マルチモーダルFMの医療分野への適応に焦点が当てられ,医療基礎モデル(MFM)の開発が進められている。 しかし、これらのアプローチは通常、医療分野にモデルを効果的に適応させるために大量のトレーニングデータを必要とする。 さらに、既存のほとんどのモデルは、英語のデータセットに基づいて訓練されており、医療専門家や患者が必ずしも英語に精通していない非英語圏での実践性を制限している。 翻訳の必要性は、追加のコストと非効率をもたらす。 これらの課題に対処するために、モデルマージング(JRadiEvo)の探索最適化により強化された \textbf{J}apanese \textbf{Radi}ology Report生成モデルを提案する。 これは、モデルマージの進化的最適化を通じて、非医学的ビジョン言語基盤モデルを医療領域に拡張する最初の試みである。 我々は、公開データから50の翻訳サンプルのみを用いて、X線画像から正確な日本語レポートを生成するモデルの作成に成功した。 このモデルは、限られたデータを非常に効率的に利用して開発され、より大規模なデータセットで訓練された最近の研究で先行モデルを上回った。 さらに、80億のパラメータだけで、この比較的コンパクトなファンデーションモデルは病院内でローカルにデプロイできるため、厳格なプライバシとセキュリティ要件のためにAPIやその他の外部サービスが使用できない環境において、実用的なソリューションとなる。

関連論文リスト

• LLMs-in-the-loop Part-1: Expert Small AI Models for Bio-Medical Text Translation [0.0]
  本研究では,医療用テキストに最適化された教師ありニューラルマシン翻訳モデルを開発するために,新しい"LLMs-in-the-loop"アプローチを提案する。 6つの言語での独自の平行コーパスは、科学論文、人工的に生成された臨床文書、医療文書から編纂された。 MarianMTベースのモデルは、Google Translate、DeepL、GPT-4-Turboより優れている。
  論文  参考訳（メタデータ） (2024-07-16T19:32:23Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• M-FLAG: Medical Vision-Language Pre-training with Frozen Language Models and Latent Space Geometry Optimization [10.099650491353026]
  本稿では,医療ビジョン言語モデルの事前学習と正規化のための新しい手法を提案する。 提案手法は,凍結言語モデルとLatent spAce Geometry Optimization (M-FLAG)を用いた医用視覚言語事前学習と呼ばれ,凍結言語モデルを用いて安定性と効率を訓練する。 5つの公開データセットにわたる大規模な実験により、M-FLAGは既存の医療ビジョン言語による事前トレーニングアプローチよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-17T09:38:41Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Radiology-GPT: A Large Language Model for Radiology [74.07944784968372]
  本稿では,ラジオロジーのための大規模言語モデルであるRadiology-GPTを紹介する。 StableLM、Dolly、LLaMAといった一般的な言語モデルと比較して、優れたパフォーマンスを示している。 放射線診断、研究、通信において大きな汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-14T17:57:24Z)
• Federated Learning of Medical Concepts Embedding using BEHRT [0.0]
  医療概念の埋め込み学習のための連合学習手法を提案する。 我々のアプローチは、EHRのディープニューラルネットワークモデルであるBEHRTのような埋め込みモデルに基づいている。 我々は、FLで訓練されたモデルと集中型データで訓練されたモデルのパフォーマンスを比較した。
  論文  参考訳（メタデータ） (2023-05-22T14:05:39Z)
• Improving Small Language Models on PubMedQA via Generative Data Augmentation [4.96649519549027]
  大規模言語モデル (LLM) は自然言語処理の分野で顕著な進歩を遂げている。 小型言語モデル(SLM)はその効率で知られているが、限られた能力と訓練データに悩まされることが多い。 医療領域におけるSLMの改善を目的とした,LLMに基づく生成データ拡張を用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-12T23:49:23Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。