論文の概要: Prompt as Knowledge Bank: Boost Vision-language model via Structural Representation for zero-shot medical detection

• arxiv url: http://arxiv.org/abs/2502.16223v1
• Date: Sat, 22 Feb 2025 13:22:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 22:36:56.041139
• Title: Prompt as Knowledge Bank: Boost Vision-language model via Structural Representation for zero-shot medical detection
• Title（参考訳）: 知識銀行としてのプロンプト:ゼロショット検診のための構造表現による視覚言語モデルの構築
• Authors: Yuguang Yang, Tongfei Chen, Haoyu Huang, Linlin Yang, Chunyu Xie, Dawei Leng, Xianbin Cao, Baochang Zhang,
• Abstract要約: 本稿では,情報バンク層を層単位でエンコードする構造GLIPを提案する。 各層において、画像表現と知識バンクの両方から非常に類似した特徴を選択し、画像パッチと対象記述との間の微妙な関係をキャプチャする構造表現を形成する。 実験により、構造GLIPは7つのゼロショット検診ベンチマークにおいて、最先端の手法よりも+4.1%AP改善を達成していることが示された。
• 参考スコア（独自算出の注目度）: 32.99689130650503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot medical detection can further improve detection performance without relying on annotated medical images even upon the fine-tuned model, showing great clinical value. Recent studies leverage grounded vision-language models (GLIP) to achieve this by using detailed disease descriptions as prompts for the target disease name during the inference phase. However, these methods typically treat prompts as equivalent context to the target name, making it difficult to assign specific disease knowledge based on visual information, leading to a coarse alignment between images and target descriptions. In this paper, we propose StructuralGLIP, which introduces an auxiliary branch to encode prompts into a latent knowledge bank layer-by-layer, enabling more context-aware and fine-grained alignment. Specifically, in each layer, we select highly similar features from both the image representation and the knowledge bank, forming structural representations that capture nuanced relationships between image patches and target descriptions. These features are then fused across modalities to further enhance detection performance. Extensive experiments demonstrate that StructuralGLIP achieves a +4.1\% AP improvement over prior state-of-the-art methods across seven zero-shot medical detection benchmarks, and consistently improves fine-tuned models by +3.2\% AP on endoscopy image datasets.
• Abstract（参考訳）: ゼロショット検診は、微調整モデルであっても注釈付医用画像に頼ることなく、検出性能をさらに向上させることができ、臨床価値が高い。 近年の研究では、詳細な病名記述を推論フェーズにおける対象疾患名へのプロンプトとして利用することにより、接地型視覚言語モデル(GLIP)を用いてこれを達成している。 しかしながら、これらの手法は通常、プロンプトをターゲット名と等価な文脈として扱うため、視覚情報に基づいて特定の疾患知識を割り当てることは困難であり、画像とターゲット記述との間に粗い整合が生じる。 本稿では,補助分岐を導入した構造GLIPを提案する。この構造GLIPは,プロンプトを潜在知識バンク層にエンコードすることで,よりコンテキスト認識ときめ細かなアライメントを実現する。 具体的には、各レイヤにおいて、画像表現と知識バンクの両方から非常に類似した特徴を選択し、画像パッチとターゲット記述の間の微妙な関係をキャプチャする構造表現を形成する。 これらの機能は、さらに検出性能を高めるために、モダリティ間で融合される。 広範囲な実験により、構造GLIPは7つのゼロショット検診ベンチマークで先行の最先端手法よりも+4.1\%APの改善を達成し、内視鏡画像データセット上で+3.2\%APの微調整モデルを一貫して改善している。

関連論文リスト

• Crane: Context-Guided Prompt Learning and Attention Refinement for Zero-Shot Anomaly Detections [50.343419243749054]
  異常検出(AD)は、通常のデータ分布から逸脱を識別する。 本稿では,視覚エンコーダから抽出した画像コンテキストに基づいて,テキストエンコーダのプロンプトを条件付ける手法を提案する。 提案手法は,14のデータセットにおいて,各メトリクスに対して2%から29%の性能向上を実現している。
  論文  参考訳（メタデータ） (2025-04-15T10:42:25Z)
• PathSegDiff: Pathology Segmentation using Diffusion model representations [63.20694440934692]
  そこで我々は,Latent Diffusion Models (LDMs) を事前学習した特徴抽出器として活用する,病理組織像分割の新しい手法であるPathSegDiffを提案する。 本手法は,H&E染色組織像から多彩な意味情報を抽出するために,自己教師型エンコーダによって誘導される病理特異的LCMを用いる。 本実験は,BCSSおよびGlaSデータセットにおける従来の手法よりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2025-04-09T14:58:21Z)
• RL4Med-DDPO: Reinforcement Learning for Controlled Guidance Towards Diverse Medical Image Generation using Vision-Language Foundation Models [0.7165255458140439]
  VLFM(Vision-Language Foundation Models)は、高解像度でフォトリアリスティックな自然画像を生成するという点で、大幅な性能向上を示している。 本稿では,事前学習したVLFMがカーソリー意味理解を提供するマルチステージアーキテクチャを提案する。 本手法の有効性を医用撮像皮膚データセットに示し, 生成した画像から生成品質が向上し, 微調整された安定拡散に対するプロンプトとの整合性が向上することを示した。
  論文  参考訳（メタデータ） (2025-03-20T01:51:05Z)
• Leveraging Vision-Language Embeddings for Zero-Shot Learning in Histopathology Images [7.048241543461529]
  ゼロショット組織像分類におけるこれらの課題に対処するため, MR-PHE(Multi-Resolution Prompt-Guided Hybrid Embedding)と呼ばれる新しいフレームワークを提案する。 我々は,グローバルな画像埋め込みと重み付けされたパッチ埋め込みを統合したハイブリッドな埋め込み戦略を導入する。 類似性に基づくパッチ重み付け機構は、クラス埋め込みとの関連性に基づいて、アテンションのような重み付けをパッチに割り当てる。
  論文  参考訳（メタデータ） (2025-03-13T12:18:37Z)
• Fine-tuning Vision Language Models with Graph-based Knowledge for Explainable Medical Image Analysis [44.38638601819933]
  現在の糖尿病網膜症(DR)のステージングモデルはほとんど解釈できない。 本稿では,グラフ表現学習を視覚言語モデル(VLM)と統合し,説明可能なDR診断を実現する手法を提案する。
  論文  参考訳（メタデータ） (2025-03-12T20:19:07Z)
• Fake It Till You Make It: Using Synthetic Data and Domain Knowledge for Improved Text-Based Learning for LGE Detection [11.532639713283226]
  臨床報告からテキストを用いてLGE検出のモデルを訓練するために,ドメイン知識に根ざした戦略を用いる。 我々は、画像の向きを解剖学的に表現した方法で標準化し、空間的特徴とテキスト的特徴のより優れたアライメントを可能にする。 モデル全体の性能に対する各デザインコンポーネントの貢献を明らかにするためのアブレーション研究が実施されている。
  論文  参考訳（メタデータ） (2025-02-18T15:30:48Z)
• Hierarchical Text-to-Vision Self Supervised Alignment for Improved Histopathology Representation Learning [64.1316997189396]
  病理組織像のための新しい言語型自己教師学習フレームワーク,階層型言語型自己監督(HLSS)を提案する。 その結果,OpenSRH と TCGA の2つの医用画像ベンチマークにおいて,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2024-03-21T17:58:56Z)
• Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
  本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。 提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。 医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2024-03-19T09:28:19Z)
• Decomposing Disease Descriptions for Enhanced Pathology Detection: A Multi-Aspect Vision-Language Pre-training Framework [43.453943987647015]
  医学的な視覚言語事前訓練は研究の最前線として現れ、ゼロショットの病理診断を可能にしている。 バイオメディカルテキストの複雑なセマンティクスのため、現在の方法では、医学的画像と、非構造化レポートの重要な病理学的所見の整合に苦慮している。 これは、大きな言語モデルと医療専門家に相談することで達成される。 我々の研究は、近年の手法の精度を最大8.56%まで改善し、17.26%を目に見えるカテゴリーで改善した。
  論文  参考訳（メタデータ） (2024-03-12T13:18:22Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Cross-level Contrastive Learning and Consistency Constraint for Semi-supervised Medical Image Segmentation [46.678279106837294]
  半教師型医用画像セグメンテーションにおける局所特徴の表現能力を高めるためのクロスレベルコンストラシティブ学習手法を提案する。 クロスレベルなコントラスト学習と一貫性制約の助けを借りて、非ラベル付きデータを効果的に探索してセグメンテーション性能を向上させることができる。
  論文  参考訳（メタデータ） (2022-02-08T15:12:11Z)
• Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding [60.89561661441736]
  医療画像分割のための新しい手法を提案する。 深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。 深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
  論文  参考訳（メタデータ） (2020-12-10T04:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。