論文の概要: Experience and Evidence are the eyes of an excellent summarizer! Towards Knowledge Infused Multi-modal Clinical Conversation Summarization

• arxiv url: http://arxiv.org/abs/2309.15739v1
• Date: Wed, 27 Sep 2023 15:49:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 13:04:18.323447
• Title: Experience and Evidence are the eyes of an excellent summarizer! Towards Knowledge Infused Multi-modal Clinical Conversation Summarization
• Title（参考訳）: 経験と証拠は優れた要約者の目です! マルチモーダルな臨床会話要約の知識化に向けて
• Authors: Abhisek Tiwari, Anisha Saha, Sriparna Saha, Pushpak Bhattacharyya and Minakshi Dhar
• Abstract要約: 本稿では,知識を注入したマルチモーダルなマルチタスク医療ドメイン識別と臨床会話要約生成フレームワークを提案する。 目的,症状,要約を付加したマルチモーダル・マルチインテント・クリニカル・会話要約コーパスを開発した。 その結果, (a) 視覚の重要さ, (b) より正確で医用的な実体の保存, (c) 医療部門識別と臨床シナプス生成の相関が示唆された。
• 参考スコア（独自算出の注目度）: 46.613541673040544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the advancement of telemedicine, both researchers and medical practitioners are working hand-in-hand to develop various techniques to automate various medical operations, such as diagnosis report generation. In this paper, we first present a multi-modal clinical conversation summary generation task that takes a clinician-patient interaction (both textual and visual information) and generates a succinct synopsis of the conversation. We propose a knowledge-infused, multi-modal, multi-tasking medical domain identification and clinical conversation summary generation (MM-CliConSummation) framework. It leverages an adapter to infuse knowledge and visual features and unify the fused feature vector using a gated mechanism. Furthermore, we developed a multi-modal, multi-intent clinical conversation summarization corpus annotated with intent, symptom, and summary. The extensive set of experiments, both quantitatively and qualitatively, led to the following findings: (a) critical significance of visuals, (b) more precise and medical entity preserving summary with additional knowledge infusion, and (c) a correlation between medical department identification and clinical synopsis generation. Furthermore, the dataset and source code are available at https://github.com/NLP-RL/MM-CliConSummation.
• Abstract（参考訳）: 遠隔医療の進展に伴い、研究者と医療従事者は共同で、診断報告生成など、様々な医療業務を自動化する様々な技術開発に取り組んでいる。 本稿ではまず,臨床と臨床の相互作用(テキスト情報と視覚情報の両方)を取り入れ,簡潔な会話合成を生成するマルチモーダルな臨床会話要約生成タスクを提案する。 本稿では,知識を注入したマルチモーダルなマルチタスク医療ドメイン識別と臨床会話要約生成(MM-CliConSummation)フレームワークを提案する。 アダプタを利用して知識と視覚的特徴を注入し、ゲート機構を使って融合した特徴ベクトルを統一する。 さらに,意図・症状・要約を付記したマルチモーダル・マルチインテント臨床会話要約コーパスを開発した。 定量的にも質的にも幅広い実験が行われ、以下の結果が得られた。 a)視覚上の重要な重要性 b)追加知識注入による要約を保存したより正確で医療的な機関 (c)医療部門識別と臨床シナプス生成の相関 さらにデータセットとソースコードはhttps://github.com/NLP-RL/MM-CliConSummationで公開されている。

関連論文リスト

• A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
  医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。 本稿では,MVLMの概要と適用した各種医療課題について概観する。 また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
  論文  参考訳（メタデータ） (2024-11-19T03:27:05Z)
• Two eyes, Two views, and finally, One summary! Towards Multi-modal Multi-tasking Knowledge-Infused Medical Dialogue Summarization [12.953002469651938]
  医学的懸念, 医師の印象, 全体像の要約を同時に生成する多面的アプローチの有効性について検討した。 マルチモーダル・マルチタスク・知識注入型医療対話要約生成モデル(MMK-Summation)を提案する。 モデルMMK-Summationは、対話を入力として取り、コンテキストに基づいて関連する外部知識を抽出し、対話から知識と視覚的手がかりをテキストコンテンツに統合し、最終的には簡潔な要約を生成する。
  論文  参考訳（メタデータ） (2024-07-21T18:00:10Z)
• Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
  VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。 VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。 本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:19:28Z)
• Integrating Medical Imaging and Clinical Reports Using Multimodal Deep Learning for Advanced Disease Analysis [3.8758525789991896]
  医用画像や臨床報告からの異種情報を深く統合する,革新的なマルチモーダル深層学習モデルを提案する。 医用画像では、畳み込みニューラルネットワークを用いて高次元の特徴を抽出し、重要な視覚情報をキャプチャした。 臨床報告テキストでは,2方向の長期・短期記憶ネットワークと注意機構を組み合わせることで,深い意味理解を実現する。
  論文  参考訳（メタデータ） (2024-05-23T02:22:10Z)
• MedKP: Medical Dialogue with Knowledge Enhancement and Clinical Pathway Encoding [48.348511646407026]
  本稿では,知識向上と臨床パスウェイ符号化フレームワークを用いた医療対話について紹介する。 このフレームワークは、医療知識グラフを介して外部知識増強モジュールと、医療機関および医師の行動を介して、内部臨床経路をコードする。
  論文  参考訳（メタデータ） (2024-03-11T10:57:45Z)
• Yes, this is what I was looking for! Towards Multi-modal Medical Consultation Concern Summary Generation [46.42604861624895]
  マルチモーダル・メディカル・コンシューム・サマリ・ジェネレーションの新しい課題を提案する。 患者のジェスチャーや表情などの非言語的手がかりは、患者の懸念を正確に識別するのに役立つ。 マルチモーダル・メディカル・コンシューム・サマリー・ジェネレーション・コーパスを構築。
  論文  参考訳（メタデータ） (2024-01-10T12:56:47Z)
• CLIPSyntel: CLIP and LLM Synergy for Multimodal Question Summarization in Healthcare [16.033112094191395]
  MMQS(Multimodal Medical Question Summarization)データセットを紹介する。 このデータセットは、医用クエリと視覚補助とを組み合わせ、患者のニーズに対するより豊かでニュアンスな理解を促進する。 また、医学的障害を識別し、関連するコンテキストを生成し、医療概念をフィルタリングし、視覚的に認識された要約を作成する4つのモジュールからなるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-16T03:02:05Z)
• Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
  医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。 我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-26T01:26:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。