論文の概要: Aligning Medical Images with General Knowledge from Large Language Models

• arxiv url: http://arxiv.org/abs/2409.00341v1
• Date: Sat, 31 Aug 2024 03:49:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 15:23:54.194592
• Title: Aligning Medical Images with General Knowledge from Large Language Models
• Title（参考訳）: 大規模言語モデルからの一般知識を用いた医用画像のアライメント
• Authors: Xiao Fang, Yi Lin, Dong Zhang, Kwang-Ting Cheng, Hao Chen,
• Abstract要約: ViPは、医用画像解析のための視覚症状誘導学習フレームワークである。 viPは視覚症状発生器(VSG)とデュアルプロンプトネットワークという2つの重要なコンポーネントから構成される。 viPは、2つの挑戦的なデータセットで最先端のメソッドより優れている。
• 参考スコア（独自算出の注目度）: 30.428433716545797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained large vision-language models (VLMs) like CLIP have revolutionized visual representation learning using natural language as supervisions, and demonstrated promising generalization ability. In this work, we propose ViP, a novel visual symptom-guided prompt learning framework for medical image analysis, which facilitates general knowledge transfer from CLIP. ViP consists of two key components: a visual symptom generator (VSG) and a dual-prompt network. Specifically, VSG aims to extract explicable visual symptoms from pre-trained large language models, while the dual-prompt network utilizes these visual symptoms to guide the training on two learnable prompt modules, i.e., context prompt and merge prompt, which effectively adapts our framework to medical image analysis via large VLMs. Extensive experimental results demonstrate that ViP can outperform state-of-the-art methods on two challenging datasets.
• Abstract（参考訳）: CLIPのような事前訓練された大規模視覚言語モデル(VLM)は、自然言語を教師として用いた視覚表現学習に革命をもたらし、有望な一般化能力を示した。 本稿では,CLIPからの一般知識の伝達を容易にする医用画像解析のための新しい視覚症状誘導学習フレームワークであるViPを提案する。 ViPは視覚症状発生器(VSG)とデュアルプロンプトネットワークという2つの重要なコンポーネントから構成される。 特に、VSGは、訓練済みの大規模言語モデルから説明可能な視覚症状を抽出することを目的としており、デュアルプロンプトネットワークは、これらの視覚症状を利用して、学習可能な2つのプロンプトモジュール、すなわちコンテキストプロンプトとマージプロンプトのトレーニングをガイドし、大きなVLMによる医用画像解析に効果的に適用する。 大規模な実験結果から、ViPは2つの挑戦的なデータセットで最先端の手法より優れていることが示された。

関連論文リスト

• ViKL: A Mammography Interpretation Framework via Multimodal Aggregation of Visual-knowledge-linguistic Features [54.37042005469384]
  MVKLは,マルチビュー画像,詳細な表示,報告を含む最初のマルチモーダルマンモグラフィーデータセットである。 このデータセットに基づいて、教師なし事前学習のチャラリングタスクに焦点を当てる。 視覚,知識,言語機能を相乗化するフレームワークであるViKLを提案する。
  論文  参考訳（メタデータ） (2024-09-24T05:01:23Z)
• Hierarchical Text-to-Vision Self Supervised Alignment for Improved Histopathology Representation Learning [64.1316997189396]
  病理組織像のための新しい言語型自己教師学習フレームワーク,階層型言語型自己監督(HLSS)を提案する。 その結果,OpenSRH と TCGA の2つの医用画像ベンチマークにおいて,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2024-03-21T17:58:56Z)
• Intensive Vision-guided Network for Radiology Report Generation [22.030289124516326]
  医用画像エンコーダにおける多視点視覚知覚をシミュレートし統合するためのGIAモジュールを提案する。 また,複数モーダル信号を用いて正確な一致したレポートを生成する方法,すなわち,予測済みの単語を領域認識型視覚コンテンツと統合して次の単語予測を行う方法について検討する。
  論文  参考訳（メタデータ） (2024-02-06T06:46:46Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
  ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。 本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:02:36Z)
• SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification [84.05253637260743]
  本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。 SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。 13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
  論文  参考訳（メタデータ） (2022-11-28T14:58:15Z)
• DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention [101.99313208598569]
  視覚と言語(V-L)タスクは、視覚内容と自然言語の両方を理解する必要がある。 視覚と言語に対する注意空間を分離したDiMBERT(Disentangled Multimodal-Attention BERT)を提案する。 DiMBERTは3つのタスクに対して最新のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-10-28T23:00:40Z)
• Multi-modal Understanding and Generation for Medical Images and Text via Vision-Language Pre-Training [5.119201893752376]
  本稿では,トランスフォーマーアーキテクチャと新しいマルチモーダルアテンションマスキング手法を組み合わせた医療ビジョン言語学習システム(MedViLL)を提案する。 我々は,タスク固有のアーキテクチャを含む様々なベースラインに対して,MedViLLのより優れたダウンストリームタスク性能を実証的に示す。
  論文  参考訳（メタデータ） (2021-05-24T15:14:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。