論文の概要: See, Measure, and Reason: Learning Visually Grounded Reasoning in Pathology
- arxiv url: http://arxiv.org/abs/2609.34277v1
- Date: Mon, 28 Sep 2026 04:25:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 22:15:12.364428
- Title: See, Measure, and Reason: Learning Visually Grounded Reasoning in Pathology
- Title(参考訳): 病理学における視覚的接地推論の理解, 測定, 推論
- Abstract要約: そこで我々は, 細胞外見と存在量の明示的な監督を通じて, 視覚的根拠に基づく推論を改善するためのASPECTを提案する。
ASPECTは、病理機能再構成、細胞機能アライメント、カウント監視を通じて中間的な視覚トークンを訓練する。
PathoVernierでは、ASPECTは最強のベースラインであるGemini-3.1-Proより19.2%、Qwen3-VL-8Bより99.3%の精度向上を達成した。
- 参考スコア(独自算出の注目度): 30.112944949839804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pathological assessment relies on recognizing fine-grained visual details in histological images. Vision-language models (VLMs) increasingly support pathology interpretation, yet their ability to perceive these details remains inadequate. This weakness leads to inaccurate cellular observations that can persist even when final answers are correct. In this paper, we propose ASPECT to improve visually grounded reasoning through explicit supervision of cellular appearance and abundance. ASPECT trains intermediate visual tokens through pathology feature reconstruction, cell feature alignment, and count supervision. Three-stage supervised fine-tuning teaches the model to perceive, generate visual tokens, and reason, followed by reinforcement learning that rewards answer correctness and consistency with reported measurements. We also introduce PathoVernier, a benchmark of 759 expert-reviewed questions from five pathology datasets covering four cellular composition tasks. It evaluates both final answers and intermediate measurements to expose errors hidden by answer accuracy. On PathoVernier, ASPECT achieves relative accuracy gains of approximately 19.2% over the strongest baseline, Gemini-3.1-Pro, and 99.3% over its Qwen3-VL-8B backbone, while reducing RAWR, which measures counting errors within correct responses, by 28.1% and 42.7%, respectively. ASPECT also improves over its backbone on three external pathology benchmarks covering classification and question answering beyond cellular composition tasks.
- Abstract(参考訳): 病理学的評価は、組織像の微細な視覚的詳細を認識することに依存する。
視覚言語モデル(VLM)は、病理学の解釈をますます支持しているが、これらの詳細を知覚する能力は依然として不十分である。
この弱点は、最終的な答えが正しい場合でも持続できる不正確な細胞の観察につながる。
本稿では,細胞外見と多量性の明示的な監視を通じて,視覚的根拠に基づく推論を改善するためのASPECTを提案する。
ASPECTは、病理機能再構成、細胞機能アライメント、カウント監視を通じて中間的な視覚トークンを訓練する。
3段階の教師付き微調整は、視覚的トークンを知覚し、生成し、理性を与えるモデルを教え、続いて報告された測定値と正しさと整合性に答える強化学習を行う。
またPathoVernierという,4つの細胞構成タスクをカバーする5つの病理データセットから,専門家がレビューした759の質問のベンチマークも紹介した。
最終回答と中間測定の両方を評価し、回答精度によって隠されたエラーを露呈する。
PathoVernierでは、ASPECTは最強のベースラインであるGemini-3.1-Proを約19.2%、Qwen3-VL-8Bのバックボーンを99.3%、正しいレスポンスでエラーを計るRAWRをそれぞれ28.1%、42.7%削減した。
ASPECTはまた、細胞構成タスク以外の分類と質問応答をカバーする3つの外部病理ベンチマークのバックボーンを改善している。
関連論文リスト
- Med-R2: An Adversarial Benchmark for Evidence-Grounded Reasoning in Medical VLMs [21.95646908343504]
Med-R2 Benchは、視覚的接地による対向的堅牢性を評価するために、臨床ワークフローと整合した階層的ベンチマークである。
本研究は,4つの臨床段階の視覚的エビデンスに連鎖推論が厳密に根付いているかを評価するために,段階的にQAタスクを設計する。
論文 参考訳(メタデータ) (2026-05-23T09:50:19Z) - Towards Clinically Interpretable Ophthalmic VQA via Spatially-Grounded Lesion Evidence [51.57735743553791]
今回我々はFundusGroundを紹介した。これは臨床的に解釈可能な眼科用VQAの空間的根拠を用いた新しいベンチマークである。
この構造された病変の証拠に基づいて、72,706の質問が4つのフォーマットにまたがって生成される。
実験により、病変レベルの視覚的エビデンスを組み込むことで、モデルの性能と透明性が一貫して向上することが示された。
論文 参考訳(メタデータ) (2026-05-21T12:37:03Z) - Beyond Localization: A Comprehensive Diagnosis of Perspective-Conditioned Spatial Reasoning in MLLMs from Omnidirectional Images [52.50752250573993]
MLLM(Multimodal Large Language Models)は、視覚的知覚が強いが、視点の変化による空間の推論には限界がある。
本研究では、この課題を全方位360度画像におけるパースペクティブ・コンディションド・スペース・推論(PCSR)として検討する。
我々は2,600全方位画像から84,373組の質問応答対の診断ベンチマークであるPCSR-Benchを紹介する。
論文 参考訳(メタデータ) (2026-05-12T17:11:17Z) - Infection-Reasoner: A Compact Vision-Language Model for Wound Infection Classification with Evidence-Grounded Clinical Reasoning [2.5133340839715443]
infection-Reasonerは、慢性的な創傷感染分類と合理性発生のためのコンパクトな推論的視覚言語モデルである。
86.8%の精度、86.4%の感度、87.1%の不均一な創傷データセットの特異性を達成している。
論文 参考訳(メタデータ) (2026-04-21T19:28:08Z) - Evaluating Reasoning Faithfulness in Medical Vision-Language Models using Multimodal Perturbations [19.488236277427358]
視覚言語モデル(VLM)は、しばしばチェーン・オブ・シント(CoT)の説明を生み出す。
胸部X線視覚質問応答(VQA)の臨床的基盤として,制御されたテキストと画像修正を用いてCoT忠実度を探索するフレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-13T09:28:22Z) - An Attention-Guided Deep Learning Approach for Classifying 39 Skin Lesion Types [0.9467360130705921]
本研究は,39種類の皮膚病変からなる包括的および多種多様なデータセットをキュレートすることにより,分野を前進させる。
MobileNetV2、Xception、InceptionV3、EfficientNetB1、Vision Transformerの5つの最先端ディープラーニングモデルが厳格に評価されている。
CBAMと統合されたビジョントランスフォーマーモデルは、93.46%の精度、94%の精度、93%のリコール、93%のF1スコア、93.67%の特異性を達成した。
論文 参考訳(メタデータ) (2025-01-10T14:25:01Z) - A Systematic Evaluation of GPT-4V's Multimodal Capability for Medical
Image Analysis [87.25494411021066]
医用画像解析のためのGPT-4Vのマルチモーダル機能の評価を行った。
GPT-4Vは医用画像の理解に優れ、高品質な放射線診断レポートを生成する。
医用視覚接地の性能は大幅に改善する必要があることが判明した。
論文 参考訳(メタデータ) (2023-10-31T11:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。