論文の概要: STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical
- arxiv url: http://arxiv.org/abs/2406.19973v1
- Date: Fri, 28 Jun 2024 15:01:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 16:30:41.060019
- Title: STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical
- Title(参考訳): STLLaVA-Med: 自己学習型大規模言語と医用ビジョンアシスタント
- Authors: Guohao Sun, Can Qin, Huazhu Fu, Linwei Wang, Zhiqiang Tao,
- Abstract要約: STLLaVA-Medは、医療ビジュアルインストラクションデータを自動生成できるポリシーモデルを訓練するために設計されている。
STLLaVA-Medの有効性とデータ効率を3つの主要な医用視覚質問応答(VQA)ベンチマークで検証した。
- 参考スコア(独自算出の注目度): 58.79671189792399
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Vision-Language Models (LVLMs) have shown significant potential in assisting medical diagnosis by leveraging extensive biomedical datasets. However, the advancement of medical image understanding and reasoning critically depends on building high-quality visual instruction data, which is costly and labor-intensive to obtain, particularly in the medical domain. To mitigate this data-starving issue, we introduce Self-Training Large Language and Vision Assistant for Medical (STLLaVA-Med). The proposed method is designed to train a policy model (an LVLM) capable of auto-generating medical visual instruction data to improve data efficiency, guided through Direct Preference Optimization (DPO). Specifically, a more powerful and larger LVLM (e.g., GPT-4o) is involved as a biomedical expert to oversee the DPO fine-tuning process on the auto-generated data, encouraging the policy model to align efficiently with human preferences. We validate the efficacy and data efficiency of STLLaVA-Med across three major medical Visual Question Answering (VQA) benchmarks, demonstrating competitive zero-shot performance with the utilization of only 9% of the medical data.
- Abstract(参考訳): LVLM(Large Vision-Language Models)は、幅広いバイオメディカルデータセットを活用することで、医学的診断を支援する大きな可能性を示している。
しかし、医用画像理解・推論の進歩は、医用領域、特に医療領域において、高コストで労働集約的な高品質な視覚指導データの構築に大きく依存する。
このデータ探索問題を緩和するために,医療用自己学習大言語とビジョンアシスタント(STLLaVA-Med)を紹介する。
提案手法は,医用ビジュアルインストラクションデータを自動生成してデータ効率を向上させる政策モデル(LVLM)を訓練するために設計され,DPO(Direct Preference Optimization)によって導かれる。
具体的には、より強力でより大きなLVLM(例えば、GPT-4o)が生物医学の専門家として関与し、自動生成データ上でDPOの微調整プロセスを監督し、政策モデルが人間の嗜好と効率的に整合することを奨励する。
STLLaVA-Medの3つの主要な医用ビジュアル質問応答 (VQA) ベンチマークの有効性とデータ効率を検証し, 医用データのわずか9%を有効利用して, 競争力のあるゼロショット性能を実証した。
関連論文リスト
- HuatuoGPT-Vision, Towards Injecting Medical Visual Knowledge into Multimodal LLMs at Scale [30.688320824225947]
私たちは13万の医療用VQAサンプルでPubMedVisionデータセットを作成します。
PubMedVisionを用いて34Bの医療MLLM HuatuoGPT-Visionを訓練し、医療マルチモーダルシナリオにおいて優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2024-06-27T15:50:41Z) - Knowledge-grounded Adaptation Strategy for Vision-language Models: Building Unique Case-set for Screening Mammograms for Residents Training [5.819704618007536]
自然画像とテキストペアに事前訓練された視覚言語モデル(VLM)は、医学的文脈に適用した場合、大きな障壁となる。
本稿では, 選択的サンプリング法と強陰性マイニング法を用いて, VLMを医療領域に適応させるフレームワークを提案する。
論文 参考訳(メタデータ) (2024-05-30T04:04:36Z) - README: Bridging Medical Jargon and Lay Understanding for Patient Education through Data-Centric NLP [9.432205523734707]
医療用語を患者に親しみやすい平易な言語に簡略化することを目的とした,レイ定義の自動生成という新たなタスクを導入する。
このデータセットは、5万以上のユニークな(医療用語、日常の定義)ペアと30万の言及からなる。
また、データフィルタリング、拡張、選択を相乗化してデータ品質を改善する、データ中心のHuman-AIパイプラインも開発しました。
論文 参考訳(メタデータ) (2023-12-24T23:01:00Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-06-15T17:55:05Z) - LLaVA-Med: Training a Large Language-and-Vision Assistant for
Biomedicine in One Day [85.19963303642427]
本稿では,バイオメディカルイメージのオープンな研究課題に答えられる視覚言語対話アシスタントを訓練するための費用効率のよいアプローチを提案する。
モデルはまず、フィギュア・キャプションのペアを使ってバイオメディカル・ボキャブラリをアライメントし、その後、オープンエンドの会話意味論を習得する。
これにより、バイオメディジンのための大規模言語と視覚アシスタントを15時間以内で(8つのA100で)訓練することができる。
論文 参考訳(メタデータ) (2023-06-01T16:50:07Z) - Robust and Efficient Medical Imaging with Self-Supervision [80.62711706785834]
医用画像AIの堅牢性とデータ効率を向上させるための統一表現学習戦略であるREMEDISを提案する。
様々な医療画像タスクを研究し, 振り返りデータを用いて3つの現実的な応用シナリオをシミュレートする。
論文 参考訳(メタデータ) (2022-05-19T17:34:18Z) - Predicting Patient Readmission Risk from Medical Text via Knowledge
Graph Enhanced Multiview Graph Convolution [67.72545656557858]
本稿では,電子健康記録の医用テキストを予測に用いる新しい手法を提案する。
外部知識グラフによって強化された多視点グラフを有する患者の退院サマリーを表現している。
実験により,本手法の有効性が証明され,最先端の性能が得られた。
論文 参考訳(メタデータ) (2021-12-19T01:45:57Z) - How to Leverage Multimodal EHR Data for Better Medical Predictions? [13.401754962583771]
電子健康記録(EHR)データの複雑さは、ディープラーニングの適用の課題である。
本稿では,まずEHRから臨床ノートを抽出し,これらのデータを統合する方法を提案する。
2つの医療予測タスクの結果、異なるデータを持つ融合モデルが最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2021-10-29T13:26:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。