論文の概要: CLIPSyntel: CLIP and LLM Synergy for Multimodal Question Summarization in Healthcare

• arxiv url: http://arxiv.org/abs/2312.11541v1
• Date: Sat, 16 Dec 2023 03:02:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 18:47:32.424253
• Title: CLIPSyntel: CLIP and LLM Synergy for Multimodal Question Summarization in Healthcare
• Title（参考訳）: CLIPSyntel: 医療におけるマルチモーダル質問要約のためのCLIPとLCMの相乗効果
• Authors: Akash Ghosh, Arkadeep Acharya, Raghav Jain, Sriparna Saha, Aman Chadha, Setu Sinha
• Abstract要約: MMQS(Multimodal Medical Question Summarization)データセットを紹介する。 このデータセットは、医用クエリと視覚補助とを組み合わせ、患者のニーズに対するより豊かでニュアンスな理解を促進する。 また、医学的障害を識別し、関連するコンテキストを生成し、医療概念をフィルタリングし、視覚的に認識された要約を作成する4つのモジュールからなるフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.033112094191395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the era of modern healthcare, swiftly generating medical question summaries is crucial for informed and timely patient care. Despite the increasing complexity and volume of medical data, existing studies have focused solely on text-based summarization, neglecting the integration of visual information. Recognizing the untapped potential of combining textual queries with visual representations of medical conditions, we introduce the Multimodal Medical Question Summarization (MMQS) Dataset. This dataset, a major contribution to our work, pairs medical queries with visual aids, facilitating a richer and more nuanced understanding of patient needs. We also propose a framework, utilizing the power of Contrastive Language Image Pretraining(CLIP) and Large Language Models(LLMs), consisting of four modules that identify medical disorders, generate relevant context, filter medical concepts, and craft visually aware summaries. Our comprehensive framework harnesses the power of CLIP, a multimodal foundation model, and various general-purpose LLMs, comprising four main modules: the medical disorder identification module, the relevant context generation module, the context filtration module for distilling relevant medical concepts and knowledge, and finally, a general-purpose LLM to generate visually aware medical question summaries. Leveraging our MMQS dataset, we showcase how visual cues from images enhance the generation of medically nuanced summaries. This multimodal approach not only enhances the decision-making process in healthcare but also fosters a more nuanced understanding of patient queries, laying the groundwork for future research in personalized and responsive medical care
• Abstract（参考訳）: 現代医療の時代には、情報的かつタイムリーな患者医療には、素早く医療質問要約を生成することが不可欠である。 医療データの複雑さと量の増加にもかかわらず、既存の研究はテキストベースの要約にのみ焦点を合わせており、視覚情報の統合は無視されている。 テキストクエリと医療条件の視覚的表現を組み合わせた未解決の可能性を認識し,MMQS(Multimodal Medical Question Summarization)データセットを提案する。 このデータセットは、我々の研究に大きく貢献し、医用クエリと視覚支援を組み合わせ、患者のニーズに対するより豊かでニュアンスな理解を促進する。 また、医学的障害を識別し、関連するコンテキストを生成し、医療概念をフィルタリングし、視覚的に認識された要約を製作する4つのモジュールからなる、CLIP(Contrastive Language Image Pretraining)とLLM(Large Language Models)のパワーを利用するフレームワークを提案する。 包括的フレームワークは,CLIP,マルチモーダル基礎モデル,および各種汎用LCMの力を活用し,医療障害識別モジュール,関連コンテキスト生成モジュール,関連する医療概念や知識を蒸留するためのコンテキストフィルタリングモジュール,そして最後に,視覚的に認識される医療質問要約を生成する汎用LCMの4つの主要モジュールからなる。 MMQSデータセットを活用することで、画像からの視覚的手がかりが、医学的なニュアンスを持つ要約の生成をいかに促進するかを示す。 このマルチモーダルアプローチは、医療における意思決定プロセスを強化するだけでなく、患者の質問に対するよりきめ細やかな理解を促進し、パーソナライズド・レスポンシブ医療における今後の研究の基盤となる。

関連論文リスト

• MC-CoT: A Modular Collaborative CoT Framework for Zero-shot Medical-VQA with LLM and MLLM Integration [36.972533173970554]
  マルチモーダル大言語モデル(MLLM)は、医学的視覚的質問応答(Med-VQA)タスクに対処するために、特定の医療画像データセットに基づいて微調整されている。 本稿では,Med-VQAにおけるMLLMのゼロショット性能向上を目的とした,モジュール型クロスモーダル協調型Chain-of-ThoughtフレームワークであるMC-CoTを紹介する。 SLAKE, VQA-RAD, PATH-VQAなどのデータセットを用いた実験により, MC-CoT はスタンドアロンのMLLM や様々なマルチモーダル CoT フレームワークをリコール率と精度で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-06T15:28:48Z)
• ViKL: A Mammography Interpretation Framework via Multimodal Aggregation of Visual-knowledge-linguistic Features [54.37042005469384]
  MVKLは,マルチビュー画像,詳細な表示,報告を含む最初のマルチモーダルマンモグラフィーデータセットである。 このデータセットに基づいて、教師なし事前学習のチャラリングタスクに焦点を当てる。 視覚,知識,言語機能を相乗化するフレームワークであるViKLを提案する。
  論文  参考訳（メタデータ） (2024-09-24T05:01:23Z)
• Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
  VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。 VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。 本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:19:28Z)
• MedKP: Medical Dialogue with Knowledge Enhancement and Clinical Pathway Encoding [48.348511646407026]
  本稿では,知識向上と臨床パスウェイ符号化フレームワークを用いた医療対話について紹介する。 このフレームワークは、医療知識グラフを介して外部知識増強モジュールと、医療機関および医師の行動を介して、内部臨床経路をコードする。
  論文  参考訳（メタデータ） (2024-03-11T10:57:45Z)
• REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models [19.62552013839689]
  既存のモデルは、しばしば臨床上の課題に医学的文脈を欠いているため、外部知識の組み入れが促される。 本稿では、マルチモーダルEHR表現を強化するためのRAG(Retrieval-Augmented Generation)駆動フレームワークREALMを提案する。 MIMIC-III 死亡率と可読化タスクに関する実験は,ベースラインよりもREALM フレームワークの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-10T18:27:28Z)
• MedSumm: A Multimodal Approach to Summarizing Code-Mixed Hindi-English Clinical Queries [16.101969130235055]
  本稿では,Multimodal Medical Codemixed Question Summarization MMCQSデータセットを紹介する。 このデータセットは、ヒンディー語と英語の混成医療クエリと視覚支援を組み合わせたものだ。 データセット、コード、トレーニング済みのモデルを公開します。
  論文  参考訳（メタデータ） (2024-01-03T07:58:25Z)
• Large Language Models Illuminate a Progressive Pathway to Artificial Healthcare Assistant: A Review [16.008511195589925]
  大規模言語モデル(LLM)は、人間のレベルの言語理解と推論を模倣する有望な能力を示している。 本稿では,医学におけるLSMの応用と意義について概説する。
  論文  参考訳（メタデータ） (2023-11-03T13:51:36Z)
• Qilin-Med-VL: Towards Chinese Large Vision-Language Model for General Healthcare [14.646414629627001]
  本研究は,テキストデータと視覚データの分析を統合するために設計された,中国初の大規模視覚言語モデルであるQilin-Med-VLを紹介する。 また,100万以上の画像テキストペアからなるデータセットであるChiMed-VLもリリースしました。
  論文  参考訳（メタデータ） (2023-10-27T08:05:21Z)
• Multi-task Paired Masking with Alignment Modeling for Medical Vision-Language Pre-training [55.56609500764344]
  本稿では,マルチタスク・ペアド・マスキング・アライメント(MPMA)に基づく統合フレームワークを提案する。 また, メモリ拡張クロスモーダルフュージョン (MA-CMF) モジュールを導入し, 視覚情報を完全統合し, レポート再構築を支援する。
  論文  参考訳（メタデータ） (2023-05-13T13:53:48Z)
• Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
  医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。 我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-26T01:26:19Z)
• Align, Reason and Learn: Enhancing Medical Vision-and-Language Pre-training with Knowledge [68.90835997085557]
  本稿では,3つの視点から構造化された医療知識を高めるための体系的かつ効果的なアプローチを提案する。 まず、視覚エンコーダと言語エンコーダの表現を知識を通して整列する。 次に,多モード融合モデルに知識を注入し,入力画像とテキストの補足として知識を用いた推論を可能にする。 第3に、知識によって引き起こされるプレテキストタスクを設計することで、画像やテキストの最も重要な情報に重点を置くよう、モデルを指導する。
  論文  参考訳（メタデータ） (2022-09-15T08:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。