論文の概要: Prompt as Knowledge Bank: Boost Vision-language model via Structural Representation for zero-shot medical detection

• arxiv url: http://arxiv.org/abs/2502.16223v1
• Date: Sat, 22 Feb 2025 13:22:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:54:24.404809
• Title: Prompt as Knowledge Bank: Boost Vision-language model via Structural Representation for zero-shot medical detection
• Title（参考訳）: 知識銀行としてのプロンプト:ゼロショット検診のための構造表現による視覚言語モデルの構築
• Authors: Yuguang Yang, Tongfei Chen, Haoyu Huang, Linlin Yang, Chunyu Xie, Dawei Leng, Xianbin Cao, Baochang Zhang,
• Abstract要約: 本稿では,情報バンク層を層単位でエンコードする構造GLIPを提案する。 各層において、画像表現と知識バンクの両方から非常に類似した特徴を選択し、画像パッチと対象記述との間の微妙な関係をキャプチャする構造表現を形成する。 実験により、構造GLIPは7つのゼロショット検診ベンチマークにおいて、最先端の手法よりも+4.1%AP改善を達成していることが示された。
• 参考スコア（独自算出の注目度）: 32.99689130650503
• License:
• Abstract: Zero-shot medical detection can further improve detection performance without relying on annotated medical images even upon the fine-tuned model, showing great clinical value. Recent studies leverage grounded vision-language models (GLIP) to achieve this by using detailed disease descriptions as prompts for the target disease name during the inference phase. However, these methods typically treat prompts as equivalent context to the target name, making it difficult to assign specific disease knowledge based on visual information, leading to a coarse alignment between images and target descriptions. In this paper, we propose StructuralGLIP, which introduces an auxiliary branch to encode prompts into a latent knowledge bank layer-by-layer, enabling more context-aware and fine-grained alignment. Specifically, in each layer, we select highly similar features from both the image representation and the knowledge bank, forming structural representations that capture nuanced relationships between image patches and target descriptions. These features are then fused across modalities to further enhance detection performance. Extensive experiments demonstrate that StructuralGLIP achieves a +4.1\% AP improvement over prior state-of-the-art methods across seven zero-shot medical detection benchmarks, and consistently improves fine-tuned models by +3.2\% AP on endoscopy image datasets.
• Abstract（参考訳）: ゼロショット検診は、微調整モデルであっても注釈付医用画像に頼ることなく、検出性能をさらに向上させることができ、臨床価値が高い。 近年の研究では、詳細な病名記述を推論フェーズにおける対象疾患名へのプロンプトとして利用することにより、接地型視覚言語モデル(GLIP)を用いてこれを達成している。 しかしながら、これらの手法は通常、プロンプトをターゲット名と等価な文脈として扱うため、視覚情報に基づいて特定の疾患知識を割り当てることは困難であり、画像とターゲット記述との間に粗い整合が生じる。 本稿では,補助分岐を導入した構造GLIPを提案する。この構造GLIPは,プロンプトを潜在知識バンク層にエンコードすることで,よりコンテキスト認識ときめ細かなアライメントを実現する。 具体的には、各レイヤにおいて、画像表現と知識バンクの両方から非常に類似した特徴を選択し、画像パッチとターゲット記述の間の微妙な関係をキャプチャする構造表現を形成する。 これらの機能は、さらに検出性能を高めるために、モダリティ間で融合される。 広範囲な実験により、構造GLIPは7つのゼロショット検診ベンチマークで先行の最先端手法よりも+4.1\%APの改善を達成し、内視鏡画像データセット上で+3.2\%APの微調整モデルを一貫して改善している。

関連論文リスト

• Fake It Till You Make It: Using Synthetic Data and Domain Knowledge for Improved Text-Based Learning for LGE Detection [11.532639713283226]
  臨床報告からテキストを用いてLGE検出のモデルを訓練するために,ドメイン知識に根ざした戦略を用いる。 我々は、画像の向きを解剖学的に表現した方法で標準化し、空間的特徴とテキスト的特徴のより優れたアライメントを可能にする。 モデル全体の性能に対する各デザインコンポーネントの貢献を明らかにするためのアブレーション研究が実施されている。
  論文  参考訳（メタデータ） (2025-02-18T15:30:48Z)
• A Multimodal Approach Combining Structural and Cross-domain Textual Guidance for Weakly Supervised OCT Segmentation [12.948027961485536]
  Weakly Supervised Semantic (WSSS) アプローチを提案する。 本手法は診断精度の向上と医用画像の効率向上に資する技術である。
  論文  参考訳（メタデータ） (2024-11-19T16:20:27Z)
• Hierarchical Text-to-Vision Self Supervised Alignment for Improved Histopathology Representation Learning [64.1316997189396]
  病理組織像のための新しい言語型自己教師学習フレームワーク,階層型言語型自己監督(HLSS)を提案する。 その結果,OpenSRH と TCGA の2つの医用画像ベンチマークにおいて,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2024-03-21T17:58:56Z)
• Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
  本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。 提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。 医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2024-03-19T09:28:19Z)
• Decomposing Disease Descriptions for Enhanced Pathology Detection: A Multi-Aspect Vision-Language Pre-training Framework [43.453943987647015]
  医学的な視覚言語事前訓練は研究の最前線として現れ、ゼロショットの病理診断を可能にしている。 バイオメディカルテキストの複雑なセマンティクスのため、現在の方法では、医学的画像と、非構造化レポートの重要な病理学的所見の整合に苦慮している。 これは、大きな言語モデルと医療専門家に相談することで達成される。 我々の研究は、近年の手法の精度を最大8.56%まで改善し、17.26%を目に見えるカテゴリーで改善した。
  論文  参考訳（メタデータ） (2024-03-12T13:18:22Z)
• A ChatGPT Aided Explainable Framework for Zero-Shot Medical Image Diagnosis [15.13309228766603]
  診断にChatGPTを付加した新しいCLIPベースのゼロショット画像分類フレームワークを提案する。 鍵となるアイデアは、大きな言語モデル(LLM)をカテゴリ名でクエリして、追加のキューと知識を自動的に生成することだ。 1つのプライベートデータセットと4つのパブリックデータセットの広範な結果と詳細な分析は、トレーニング不要なゼロショット診断パイプラインの有効性と説明可能性を示している。
  論文  参考訳（メタデータ） (2023-07-05T01:45:19Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
  眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。 CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。 大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
  論文  参考訳（メタデータ） (2022-06-04T13:16:30Z)
• Cross-level Contrastive Learning and Consistency Constraint for Semi-supervised Medical Image Segmentation [46.678279106837294]
  半教師型医用画像セグメンテーションにおける局所特徴の表現能力を高めるためのクロスレベルコンストラシティブ学習手法を提案する。 クロスレベルなコントラスト学習と一貫性制約の助けを借りて、非ラベル付きデータを効果的に探索してセグメンテーション性能を向上させることができる。
  論文  参考訳（メタデータ） (2022-02-08T15:12:11Z)
• Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding [60.89561661441736]
  医療画像分割のための新しい手法を提案する。 深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。 深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
  論文  参考訳（メタデータ） (2020-12-10T04:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。