論文の概要: Spatial Message Passing in Language Space for Pathology Image Interpretation
- arxiv url: http://arxiv.org/abs/2608.14309v1
- Date: Fri, 14 Aug 2026 13:48:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.390769
- Title: Spatial Message Passing in Language Space for Pathology Image Interpretation
- Title(参考訳): 病理画像解釈のための言語空間における空間的メッセージパッシング
- Abstract要約: 本研究では,空間的推論を言語空間で完全に実行し,構築によって可読性を実現するフレームワークを提案する。
SLMPは、空間テキストグラフとしてWSI領域を表す。
各タイルについて、LLMは、隣接するタイルからの言語メッセージを共有集約ポリシーの下で統合することにより、その記述を洗練する。
代表的HER2およびCAMELYON16領域では、SLMPは、汎用性および病理特異的なバックボーンにまたがる設定において、タイルレベルの腫瘍記述精度を向上させる。
- 参考スコア(独自算出の注目度): 11.068039815749488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Large Language Models (MLLMs) can generate pathological descriptions from histological images, but gigapixel Whole Slide Images (WSIs) exceed their visual context limits. The standard tiling workaround makes WSIs tractable yet severs the tissue neighborhoods that define tumor-stroma interfaces and morphology. We introduce Spatial Language Message Passing (SLMP), a framework that performs spatial reasoning entirely in language space, human-readable by construction. SLMP represents a WSI region as a spatial text graph: tiles are nodes initialized with MLLM descriptions, and edges encode spatial adjacency. For each tile, an LLM refines its description by integrating language messages from adjacent tiles under a shared aggregation policy that, on the tile grid, acts as an adaptive local kernel operating on text rather than learned embeddings. This policy is an inspectable prompt that can be refined from model-observed tissue phenotypes via textual gradients, enabling automatic semantic optimization from local cellular context to broader tissue morphology without fine-tuning MLLM weights. On representative HER2 and CAMELYON16 regions, SLMP improves tile-level tumor description accuracy in settings spanning general-purpose and pathology-specialized backbones, with gains of +3.3 to +19.6 percentage points. Random-neighbor ablations confirm that these gains stem from spatial context rather than additional text alone, and inspecting the optimized policies reveals interpretable, tissue-specific decision rules. Besides, without any weight updates or fine-tuning the backbone MLLM, SLMP substantially improves general-purpose MLLMs and narrows its gap to pathology-specialized counterparts, offering a transparent and flexible mechanism for incorporating spatial reasoning into MLLM-based pathology analysis.
- Abstract(参考訳): マルチモーダル大言語モデル(MLLM)は病理像から病理記述を生成することができるが、ギガピクセル全スライド画像(WSI)は視覚的コンテキスト限界を超えている。
WSIsの標準的な回避策は、腫瘍-ストローマ界面と形態を定義する組織近傍をトラクタブルで分離する。
本稿では,空間的推論を完全に言語空間で行うためのフレームワークであるSpatial Language Message Passing (SLMP)を紹介した。
SLMPは、WSI領域を空間テキストグラフとして表現し、タイルはMLLM記述で初期化されたノードであり、エッジは空間隣接を符号化する。
各タイルについて、LLMは、隣接するタイルから言語メッセージを統合することで記述を洗練し、タイルグリッド上では、埋め込みを学ぶのではなく、テキスト上で動く適応的なローカルカーネルとして機能する。
このポリシーは検査可能なプロンプトであり、局所的な細胞コンテキストからより広範な組織形態への自動的意味最適化を可能にするため、MLLMの微調整は行わない。
代表的HER2およびCAMELYON16領域では、SLMPは、汎用および病理特異的なバックボーンにまたがる設定において、タイルレベルの腫瘍記述精度を改善し、+3.3から+19.6ポイントのゲインを得た。
ランダム隣のアブレーションは、これらの利得が追加のテキストのみではなく、空間的文脈に由来することを確認し、最適化されたポリシーを検査すると、解釈可能な組織固有の決定規則が示される。
さらに、背骨MLLMの軽量化や微調整を行なわず、SLMPは汎用MLLMを著しく改善し、そのギャップを病理特異的なものに狭め、MLLMベースの病理解析に空間推論を組み込む透過的かつ柔軟なメカニズムを提供する。
関連論文リスト
- One Patch Is Enough: Reinforcement-Optimized Visual Token Grounding for MLLM-Based Scene Text Spotting [51.09550363815034]
シーンテキストスポッティングはテキスト認識と空間的局所化の間に高精度なアライメントを必要とする。
本研究では,個々のテキストインスタンスを単一のアンカー視覚トークンでルーティングする視覚中心のフレームワークであるSingle-Patch Text Spotting (SPaTS)を提案する。
SPaTS はフロンティアのクローズドソースMLLM と OCR MLLM の両方で一貫した性能を示し,その性能を著しく向上させる。
論文 参考訳(メタデータ) (2026-07-30T09:17:48Z) - MLLM-HWSI: A Multimodal Large Language Model for Hierarchical Whole Slide Image Understanding [39.29898673779214]
Whole Slide Images (WSIs) は階層構造を示し、診断情報は細胞形態、局所組織組織、世界的文脈から現れる。
既存の計算病理学(CPath) マルチモーダル言語モデル(MLLM)は一般にWSI全体を単一の埋め込みに圧縮する。
我々は、WSIレベルのMLLMであるtextbfMLLMHWSIを導入し、4つの異なるスケールで視覚特徴とマルチスケール言語を整列する。
論文 参考訳(メタデータ) (2026-03-24T11:04:58Z) - Test-Time Computing for Referring Multimodal Large Language Models [143.49848714354698]
そこで我々は,新しいテスト時間適応フレームワークである ControlMLLM++ を提案する。
学習可能な視覚的プロンプトを凍ったマルチモーダルな大言語モデルに注入する。
論文 参考訳(メタデータ) (2026-02-23T04:42:10Z) - Zero-shot segmentation of skin tumors in whole-slide images with vision-language foundation models [1.2488173903877113]
我々は、全スライディング画像(ZEUS)のためのゼロショット視覚言語セグメンテーションパイプラインを導入する。
ZEUSは、ギガピクセル全スライド画像に高解像度の腫瘍マスクを生成する。
2つの社内データセットで競合性能を示す。
論文 参考訳(メタデータ) (2025-11-24T10:50:30Z) - SpatialGeo:Boosting Spatial Reasoning in Multimodal LLMs via Geometry-Semantics Fusion [23.86761713752287]
MLLM(Multimodal large language model)は、画像および言語タスクにおいて大きな進歩を遂げている。
ほとんどのMLLMは、空間的配置を3次元空間で解釈し推論する限られた空間的推論能力に悩まされている。
幾何学と意味論の階層的融合に基づく新しい視覚エンコーダを提案し,空間認識型視覚埋め込みを生成する。
論文 参考訳(メタデータ) (2025-11-21T15:24:33Z) - Spatial Preference Rewarding for MLLMs Spatial Understanding [92.25703021388142]
マルチモーダル大言語モデル (MLLM) は, 有望な空間理解能力を示した。
彼らの成功にもかかわらず、MLLMは依然として微粒な空間知覚能力に不足している。
本稿では,MLLMの空間能力を高めるSPR(Spatial Preference Rewarding)アプローチを提案する。
論文 参考訳(メタデータ) (2025-10-16T07:16:18Z) - GMAT: Grounded Multi-Agent Clinical Description Generation for Text Encoder in Vision-Language MIL for Whole Slide Image Classification [4.922864692096282]
多重インスタンス学習(MIL)は、全スライド画像(WSI)分類における主要なアプローチである。
最近の研究は、医療知識を取り入れたビジョン言語モデル(VLM)をMILパイプラインに導入している。
本稿では2つの重要なコントリビューションを持つビジョン言語MILフレームワークを提案する。
論文 参考訳(メタデータ) (2025-08-02T09:59:39Z) - PhysLLM: Harnessing Large Language Models for Cross-Modal Remote Physiological Sensing [49.243031514520794]
LLM(Large Language Models)は、テキスト中心の設計のため、長距離信号の取得に優れる。
PhysLLMは最先端の精度とロバスト性を実現し、照明のバリエーションや動きのシナリオにまたがる優れた一般化を示す。
論文 参考訳(メタデータ) (2025-05-06T15:18:38Z) - EAGLE: Towards Efficient Arbitrary Referring Visual Prompts Comprehension for Multimodal Large Language Models [80.00303150568696]
本稿では,既存のアプローチよりもトレーニングの少ない任意の参照視覚的プロンプトの理解を促進するための,MLLM(Multimodal Large Language Models)を提案する。
本手法は,視覚的プロンプトを,MLLMに理解可能な特定の空間領域を伝達する空間概念として応用する。
我々はまた、MLLMの領域レベルの理解を視覚的プロンプトを参照する特定の形式にさらに引き離すための幾何非依存学習パラダイム(GAL)を提案する。
論文 参考訳(メタデータ) (2024-09-25T08:22:00Z) - Adaptive Context Selection for Polyp Segmentation [99.9959901908053]
本稿では,ローカルコンテキストアテンション(LCA)モジュール,グローバルコンテキストモジュール(GCM)モジュール,適応選択モジュール(ASM)モジュールで構成される適応コンテキスト選択に基づくエンコーダデコーダフレームワークを提案する。
LCAモジュールは、エンコーダ層からデコーダ層へローカルなコンテキスト機能を提供する。
GCMは、グローバルなコンテキストの特徴をさらに探求し、デコーダ層に送信することを目的としている。ASMは、チャンネルワイドアテンションを通じて、コンテキスト特徴の適応的選択と集約に使用される。
論文 参考訳(メタデータ) (2023-01-12T04:06:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。