論文の概要: Effectively Fine-tune to Improve Large Multimodal Models for Radiology Report Generation

• arxiv url: http://arxiv.org/abs/2312.01504v1
• Date: Sun, 3 Dec 2023 20:42:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 17:09:39.112966
• Title: Effectively Fine-tune to Improve Large Multimodal Models for Radiology Report Generation
• Title（参考訳）: 放射線レポート生成のための大規模マルチモーダルモデルの改良
• Authors: Yuzhe Lu, Sungmin Hong, Yash Shah, Panpan Xu
• Abstract要約: 大規模言語モデル(LLM)は最近、印象的な機能を示しています。 ソフトな視覚的プロンプトとしてLLMのテキスト埋め込み空間に視覚的特徴を合わせるための,シンプルで効果的な2段階微調整プロトコルを提案する。 OpenLLaMA-7Bのフレームワークは、ドメイン固有の事前トレーニングを使わずに最先端のパフォーマンスを実現した。
• 参考スコア（独自算出の注目度）: 8.788649244412591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Writing radiology reports from medical images requires a high level of domain expertise. It is time-consuming even for trained radiologists and can be error-prone for inexperienced radiologists. It would be appealing to automate this task by leveraging generative AI, which has shown drastic progress in vision and language understanding. In particular, Large Language Models (LLM) have demonstrated impressive capabilities recently and continued to set new state-of-the-art performance on almost all natural language tasks. While many have proposed architectures to combine vision models with LLMs for multimodal tasks, few have explored practical fine-tuning strategies. In this work, we proposed a simple yet effective two-stage fine-tuning protocol to align visual features to LLM's text embedding space as soft visual prompts. Our framework with OpenLLaMA-7B achieved state-of-the-art level performance without domain-specific pretraining. Moreover, we provide detailed analyses of soft visual prompts and attention mechanisms, shedding light on future research directions.
• Abstract（参考訳）: 医療画像から放射線レポートを書くには、高いレベルのドメイン専門知識が必要です。 放射線科医の訓練にも時間がかかり、経験の浅い放射線科医のミスを起こしやすい。 視覚と言語理解の大幅な進歩を示す生成的AIを活用することで、このタスクを自動化することがアピールされる。 特に、最近の大規模言語モデル(llm)は印象的な能力を示しており、ほぼすべての自然言語タスクに新たな最先端のパフォーマンスを設定し続けている。 視覚モデルとLLMを組み合わせたマルチモーダルタスクのアーキテクチャを提案するものも少なくないが、実際的な微調整戦略を検討するものはほとんどない。 本研究では,視覚的特徴をソフトな視覚的プロンプトとしてLLMのテキスト埋め込み空間にアライメントするための,シンプルで効果的な2段階微調整プロトコルを提案する。 OpenLLaMA-7Bのフレームワークは、ドメイン固有の事前トレーニングなしで最先端のパフォーマンスを実現した。 さらに, ソフトビジュアルプロンプトと注意機構の詳細な解析を行い, 今後の研究の方向性に光を当てる。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [56.391404083287235]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want [58.091825321168514]
  我々は、Draw-and-Understandプロジェクト、新しいモデル、マルチドメインデータセット、ビジュアルプロンプトのための挑戦的なベンチマークを紹介する。 具体的には、視覚エンコーダ、視覚プロンプトエンコーダ、LLMを接続する、エンド・ツー・エンドのマルチモーダル大規模言語モデル(MLLM)を提案する。 MLLMの視覚的プロンプト研究を進めるために,MDVP-DataとMDVP-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-03-29T16:26:20Z)
• Residual-based Language Models are Free Boosters for Biomedical Imaging [15.154015369984572]
  本研究では,バイオメディカルイメージングタスクのエンコーダの一部として,残留型大規模言語モデル(LLM)の予期せぬ有効性を明らかにする。 これらのLCMは,2次元と3次元の視覚的分類タスクを含む,様々なバイオメディカルイメージングアプリケーションにおいて,性能を向上させることができることがわかった。 副産物として,提案手法は,MedMNIST-2Dと3Dの広範囲な標準化データセットに対して,最先端の成果を新たに設定し,優れた性能を実現した。
  論文  参考訳（メタデータ） (2024-03-26T03:05:20Z)
• MedXChat: A Unified Multimodal Large Language Model Framework towards CXRs Understanding and Generation [28.497591315598402]
  MLLM(Multimodal Large Language Models)は、様々な画像処理タスクで成功している。 胸部X線(CXR)の理解・生成におけるMLLMsの可能性について検討した。
  論文  参考訳（メタデータ） (2023-12-04T06:40:12Z)
• XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
  我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。 胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。 自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
  論文  参考訳（メタデータ） (2023-06-13T17:59:59Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)
• Multi-modal Understanding and Generation for Medical Images and Text via Vision-Language Pre-Training [5.119201893752376]
  本稿では,トランスフォーマーアーキテクチャと新しいマルチモーダルアテンションマスキング手法を組み合わせた医療ビジョン言語学習システム(MedViLL)を提案する。 我々は,タスク固有のアーキテクチャを含む様々なベースラインに対して,MedViLLのより優れたダウンストリームタスク性能を実証的に示す。
  論文  参考訳（メタデータ） (2021-05-24T15:14:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。