論文の概要: Beyond Sparse Captions: Aligning Slide-Level Text and Patch-Level Vision in Pathology

• arxiv url: http://arxiv.org/abs/2610.17233v2
• Date: Thu, 15 Oct 2026 05:24:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.915904
• Title: Beyond Sparse Captions: Aligning Slide-Level Text and Patch-Level Vision in Pathology
• Title（参考訳）: スパース・キャプションを超えて: 病理学におけるスライド・レベルテキストとパッチ・レベル・ビジョンの調整
• Abstract要約: 本稿では,定期的な診断実践中に発生するスライドレベルの病態レポートを活用することを提案する。 この弱い監督下での重要な課題は、病理報告がマクロな診断所見を記述し、パッチレベルの視覚的特徴は顕微鏡的な所見を記述していることである。 我々は、予め訓練されたビジョンエンコーダを凍結し、テキストエンコーダのみを微調整することにより、このギャップに対処するロック画像多重インスタンスプリタライニング(LIMIT)を導入する。
• 参考スコア（独自算出の注目度）: 8.859156329647773
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Contrastive vision-language (VL) pretraining in computational pathology has generally relied on curated image-caption datasets sourced from social media, educational videos, and research publications. These corpora are sparse relative to the diversity of tissue morphology and difficult to scale further, as pathologists do not routinely produce descriptive captions in clinical practice. We propose to instead leverage slide-level pathology reports which can be generated during routine diagnostic workflows in a scalable manner. A key challenge in this weakly-supervised setting is that pathology reports describe macroscopic, diagnostic findings while patch-level visual features describe microscopic findings. We introduce Locked Image Multiple Instance PreTraining (LIMIT), which addresses this gap by freezing a pretrained vision encoder and fine-tuning only the text encoder: report embeddings serve as cross-attention queries over bags of patch features, producing report-conditioned slide representations optimized via InfoNCE. Using LIMIT, we establish CONCH-Z, which aligns the text encoder of CONCH v1.5 to 335k clinical reports. Evaluated across 22 tasks spanning patch-level classification, tumor detection, and slide-level subtyping, CONCH-Z establishes state-of-the-art zero-shot performance over VL encoders trained on curated caption datasets, while simultaneously closing the gap with slide-level foundation models trained with substantially more parameters and compute. The code and model is available at https://github.com/mahmoodlab/LIMIT.
• Abstract（参考訳）: コントラスト的視覚言語(VL)は一般的に、ソーシャルメディア、教育ビデオ、研究出版物から得られた画像キャプチャーデータセットに依存している。 これらのコーパスは組織形態の多様性と相対的に疎らであり、病理学者が臨床で記述的なキャプションを日常的に生成しないため、さらに拡張することが困難である。 そこで本研究では,日常的な診断ワークフローで発生するスライドレベルの病態レポートを,スケーラブルな方法で活用することを提案する。 この弱い監督下での重要な課題は、病理報告がマクロな診断所見を記述し、パッチレベルの視覚的特徴は顕微鏡的な所見を記述していることである。 我々は、事前訓練されたビジョンエンコーダを凍結し、テキストエンコーダのみを微調整することで、このギャップに対処するロック画像多重インスタンス事前調査(LIMIT)を紹介した。 LIMITを用いて,CONCH v1.5のテキストエンコーダを臨床報告335kに整列させるCONCH-Zを確立する。 パッチレベルの分類、腫瘍検出、スライドレベルのサブタイプにまたがる22のタスクを評価することで、CONCH-Zは、キュレートされたキャプションデータセットに基づいてトレーニングされたVLエンコーダに対して、最先端のゼロショットパフォーマンスを確立すると同時に、かなり多くのパラメータと計算でトレーニングされたスライドレベルの基盤モデルとのギャップを埋める。 コードとモデルはhttps://github.com/mahmoodlab/LIMIT.comで公開されている。

関連論文リスト

• Layout-Guided Controllable Pathology Image Generation with In-Context Diffusion Transformers [57.54843029965778]
  制御可能な病理画像合成には、空間配置、組織形態、意味的詳細の信頼できる規制が必要である。 In-Context Diffusion Transformer (IC-DiT) は,空間レイアウト,テキスト記述,視覚的埋め込みを統合拡散変換器に組み込んだレイアウト認識生成モデルである。 IC-DiTは既存の方法よりも忠実度が高く、空間制御性が強く、診断の整合性が良くなる。
  論文  参考訳（メタデータ） (2026-03-11T06:14:11Z)
• Structure Observation Driven Image-Text Contrastive Learning for Computed Tomography Report Generation [51.509572354327986]
  本稿では,CTRG(Computed Tomography Report Generation)に適した新しい2段階(構造とレポートの学習)フレームワークを提案する。 第1段階では、CT画像中の対応する構造を学習可能な構造特異的な視覚的クエリーの集合を観察し、その結果として得られる観察トークンと、それに伴う放射線学レポートから抽出された構造特異的なテキスト特徴とを、構造的に画像テキストのコントラストロスとで対比する。 第2段階では、視覚構造クエリを凍結し、各解剖学的構造を描写したクリティカルイメージパッチ埋め込みを選択するために使用し、メモリ消費を低減しつつ、無関係領域からの注意を最小化する。
  論文  参考訳（メタデータ） (2026-03-05T07:07:07Z)
• Zero-shot segmentation of skin tumors in whole-slide images with vision-language foundation models [1.2488173903877113]
  我々は、全スライディング画像(ZEUS)のためのゼロショット視覚言語セグメンテーションパイプラインを導入する。 ZEUSは、ギガピクセル全スライド画像に高解像度の腫瘍マスクを生成する。 2つの社内データセットで競合性能を示す。
  論文  参考訳（メタデータ） (2025-11-24T10:50:30Z)
• GMAT: Grounded Multi-Agent Clinical Description Generation for Text Encoder in Vision-Language MIL for Whole Slide Image Classification [4.922864692096282]
  多重インスタンス学習(MIL)は、全スライド画像(WSI)分類における主要なアプローチである。 最近の研究は、医療知識を取り入れたビジョン言語モデル(VLM)をMILパイプラインに導入している。 本稿では2つの重要なコントリビューションを持つビジョン言語MILフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-02T09:59:39Z)
• Pathology-knowledge Enhanced Multi-instance Prompt Learning for Few-shot Whole Slide Image Classification [19.070685830687285]
  臨床環境では、患者のプライバシ上の懸念や、稀な疾患や新興疾患の流行により、病的スライドへのアクセスが制限されることは避けられない。 本稿では,病理知識によって強化されたマルチインスタンス・プロンプト学習フレームワークを提案する。 本手法は,3つの困難な臨床課題において優れた成績を示し,比較数ショット法よりも優れていた。
  論文  参考訳（メタデータ） (2024-07-15T15:31:55Z)
• Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
  アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。 我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
  論文  参考訳（メタデータ） (2024-03-19T03:59:14Z)
• WsiCaption: Multiple Instance Generation of Pathology Reports for Gigapixel Whole-Slide Images [5.960501267687475]
  スライド画像全体から病理報告を生成する方法について検討する。 私たちは、最大のWSIテキストデータセット(PathText)をキュレートしました。 モデル終端では、多重インスタンス生成モデル(MI-Gen)を提案する。
  論文  参考訳（メタデータ） (2023-11-27T05:05:41Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。