論文の概要: MedSumm: A Multimodal Approach to Summarizing Code-Mixed Hindi-English Clinical Queries

• arxiv url: http://arxiv.org/abs/2401.01596v1
• Date: Wed, 3 Jan 2024 07:58:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 14:45:30.479449
• Title: MedSumm: A Multimodal Approach to Summarizing Code-Mixed Hindi-English Clinical Queries
• Title（参考訳）: MedSumm: コードミキシングヒンディー語臨床クエリを要約するマルチモーダルアプローチ
• Authors: Akash Ghosh, Arkadeep Acharya, Prince Jha, Aniket Gaudgaul, Rajdeep Majumdar, Sriparna Saha, Aman Chadha, Raghav Jain, Setu Sinha, and Shivani Agarwal
• Abstract要約: 本稿では,Multimodal Medical Codemixed Question Summarization MMCQSデータセットを紹介する。 このデータセットは、ヒンディー語と英語の混成医療クエリと視覚支援を組み合わせたものだ。 データセット、コード、トレーニング済みのモデルを公開します。
• 参考スコア（独自算出の注目度）: 16.101969130235055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the healthcare domain, summarizing medical questions posed by patients is critical for improving doctor-patient interactions and medical decision-making. Although medical data has grown in complexity and quantity, the current body of research in this domain has primarily concentrated on text-based methods, overlooking the integration of visual cues. Also prior works in the area of medical question summarisation have been limited to the English language. This work introduces the task of multimodal medical question summarization for codemixed input in a low-resource setting. To address this gap, we introduce the Multimodal Medical Codemixed Question Summarization MMCQS dataset, which combines Hindi-English codemixed medical queries with visual aids. This integration enriches the representation of a patient's medical condition, providing a more comprehensive perspective. We also propose a framework named MedSumm that leverages the power of LLMs and VLMs for this task. By utilizing our MMCQS dataset, we demonstrate the value of integrating visual information from images to improve the creation of medically detailed summaries. This multimodal strategy not only improves healthcare decision-making but also promotes a deeper comprehension of patient queries, paving the way for future exploration in personalized and responsive medical care. Our dataset, code, and pre-trained models will be made publicly available.
• Abstract（参考訳）: 医療分野では、患者が提示する医療問題を要約することが、医師と患者の相互作用と医療意思決定を改善する上で重要である。 医療データは複雑さと量で成長してきたが、現在のこの分野の研究は主にテキストベースの手法に集中し、視覚的な手がかりの統合を見据えてきた。 また、医学的質問要約の分野における先行研究は、英語に限定されている。 本稿では,低リソース環境におけるcodemixed入力に対するマルチモーダル医療質問要約のタスクを紹介する。 このギャップに対処するために、ヒンディー語と英語の混在する医療クエリと視覚支援を組み合わせたMMCQSデータセットを導入する。 この統合は患者の医療状態の表現を強化し、より包括的な視点を提供する。 また,この課題に LLM と VLM のパワーを利用する MedSumm というフレームワークを提案する。 mmcqsデータセットを利用することで,画像からの視覚情報を統合し,医学的詳細要約の作成を改善する価値を実証する。 このマルチモーダル戦略は、医療の意思決定を改善するだけでなく、患者の問い合わせをより深く理解し、パーソナライズされたレスポンシブな医療における将来の探究の道を開く。 私たちのデータセット、コード、および事前トレーニングされたモデルは、一般公開されます。

関連論文リスト

• A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
  医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。 本稿では,MVLMの概要と適用した各種医療課題について概観する。 また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
  論文  参考訳（メタデータ） (2024-11-19T03:27:05Z)
• MedAide: Towards an Omni Medical Aide via Specialized LLM-based Multi-Agent Collaboration [16.062646854608094]
  大規模言語モデル(LLM)による対話システムは、現在医療分野において潜在的に有望であることを示している。 本稿では,医療専門サービスのためのオムニ・メディカル・マルチエージェント・コラボレーション・フレームワークであるMedAideを提案する。
  論文  参考訳（メタデータ） (2024-10-16T13:10:27Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• MedInsight: A Multi-Source Context Augmentation Framework for Generating Patient-Centric Medical Responses using Large Language Models [3.0874677990361246]
  大きな言語モデル(LLM)は、人間のような応答を生成する素晴らしい能力を示している。 我々は,LLM入力を関連背景情報で拡張する新しい検索フレームワークMedInsightを提案する。 MTSamplesデータセットの実験は、文脈的に適切な医療応答を生成するMedInsightの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-13T15:20:30Z)
• MedKP: Medical Dialogue with Knowledge Enhancement and Clinical Pathway Encoding [48.348511646407026]
  本稿では,知識向上と臨床パスウェイ符号化フレームワークを用いた医療対話について紹介する。 このフレームワークは、医療知識グラフを介して外部知識増強モジュールと、医療機関および医師の行動を介して、内部臨床経路をコードする。
  論文  参考訳（メタデータ） (2024-03-11T10:57:45Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• CLIPSyntel: CLIP and LLM Synergy for Multimodal Question Summarization in Healthcare [16.033112094191395]
  MMQS(Multimodal Medical Question Summarization)データセットを紹介する。 このデータセットは、医用クエリと視覚補助とを組み合わせ、患者のニーズに対するより豊かでニュアンスな理解を促進する。 また、医学的障害を識別し、関連するコンテキストを生成し、医療概念をフィルタリングし、視覚的に認識された要約を作成する4つのモジュールからなるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-16T03:02:05Z)
• Multi-task Paired Masking with Alignment Modeling for Medical Vision-Language Pre-training [55.56609500764344]
  本稿では,マルチタスク・ペアド・マスキング・アライメント(MPMA)に基づく統合フレームワークを提案する。 また, メモリ拡張クロスモーダルフュージョン (MA-CMF) モジュールを導入し, 視覚情報を完全統合し, レポート再構築を支援する。
  論文  参考訳（メタデータ） (2023-05-13T13:53:48Z)
• PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
  大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。 LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。 PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
  論文  参考訳（メタデータ） (2023-04-27T18:29:05Z)
• Knowledge-Empowered Representation Learning for Chinese Medical Reading Comprehension: Task, Model and Resources [36.960318276653986]
  医療領域を対象としたマルチターゲットMRCタスクを導入し,医療質問に対する回答とそれに対応する文章を同時に予測することを目的とする。 本稿では, 医学知識を事前学習言語モデルに融合させる, タスクのための中国の医療用BERTモデル(CMedBERT)を提案する。 実験の結果,CMedBERTはコンテキスト認識と知識認識のトークン表現を融合することにより,強いベースラインを一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2020-08-24T11:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。