論文の概要: PathVG: A New Benchmark and Dataset for Pathology Visual Grounding
- arxiv url: http://arxiv.org/abs/2502.20869v1
- Date: Fri, 28 Feb 2025 09:13:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-03 16:38:45.770183
- Title: PathVG: A New Benchmark and Dataset for Pathology Visual Grounding
- Title(参考訳): PathVG: 病理ビジュアルグラウンドのための新しいベンチマークとデータセット
- Authors: Chunlin Zhong, Shuang Hao, Junhua Wu, Xiaona Chang, Jiwei Jiang, Xiu Nie, He Tang, Xiang Bai,
- Abstract要約: そこで我々はPathVG(Pathology Visual Grounding)と呼ばれる新しいベンチマークを提案する。
実験の結果,病理表現の根底にある暗黙的な情報に最大の課題があることが判明した。
提案手法は,PathVGベンチマーク上での最先端性能を実現する。
- 参考スコア(独自算出の注目度): 45.21597220882424
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: With the rapid development of computational pathology, many AI-assisted diagnostic tasks have emerged. Cellular nuclei segmentation can segment various types of cells for downstream analysis, but it relies on predefined categories and lacks flexibility. Moreover, pathology visual question answering can perform image-level understanding but lacks region-level detection capability. To address this, we propose a new benchmark called Pathology Visual Grounding (PathVG), which aims to detect regions based on expressions with different attributes. To evaluate PathVG, we create a new dataset named RefPath which contains 27,610 images with 33,500 language-grounded boxes. Compared to visual grounding in other domains, PathVG presents pathological images at multi-scale and contains expressions with pathological knowledge. In the experimental study, we found that the biggest challenge was the implicit information underlying the pathological expressions. Based on this, we proposed Pathology Knowledge-enhanced Network (PKNet) as the baseline model for PathVG. PKNet leverages the knowledge-enhancement capabilities of Large Language Models (LLMs) to convert pathological terms with implicit information into explicit visual features, and fuses knowledge features with expression features through the designed Knowledge Fusion Module (KFM). The proposed method achieves state-of-the-art performance on the PathVG benchmark.
- Abstract(参考訳): 計算病理学の急速な発展に伴い、多くのAI支援診断タスクが登場した。
細胞核のセグメンテーションは、下流分析のために様々な種類の細胞を分割することができるが、事前に定義されたカテゴリに依存し、柔軟性に欠ける。
さらに、画像レベルの理解は可能であるが、領域レベルの検出能力に欠ける。
そこで我々はPathVG(Pathology Visual Grounding)と呼ばれる新しいベンチマークを提案する。
PathVGを評価するために、新たにRefPathというデータセットを作成しました。
PathVGは、他の領域の視覚的接地と比較して、マルチスケールで病理像を提示し、病理知識を持つ表現を含む。
実験の結果,病理表現の根底にある暗黙的な情報に最大の課題があることが判明した。
そこで我々はPathVGのベースラインモデルとしてPathology Knowledge-enhanced Network (PKNet)を提案する。
PKNetは、LLM(Large Language Models)の知識強化機能を活用して、暗黙的な情報を持つ病理用語を明示的な視覚的特徴に変換するとともに、設計された知識融合モジュール(KFM)を通じて、表現機能と知識機能を融合する。
提案手法は,PathVGベンチマーク上での最先端性能を実現する。
関連論文リスト
- PathSegDiff: Pathology Segmentation using Diffusion model representations [63.20694440934692]
そこで我々は,Latent Diffusion Models (LDMs) を事前学習した特徴抽出器として活用する,病理組織像分割の新しい手法であるPathSegDiffを提案する。
本手法は,H&E染色組織像から多彩な意味情報を抽出するために,自己教師型エンコーダによって誘導される病理特異的LCMを用いる。
本実験は,BCSSおよびGlaSデータセットにおける従来の手法よりも大幅に改善されたことを示す。
論文 参考訳(メタデータ) (2025-04-09T14:58:21Z) - From Pixels to Histopathology: A Graph-Based Framework for Interpretable Whole Slide Image Analysis [81.19923502845441]
我々はWSIグラフ表現を構成するグラフベースのフレームワークを開発する。
任意のパッチではなく生物学的境界に従う組織表現(ノード)を構築します。
本手法の最終段階として,グラフアテンションネットワークを用いて診断課題を解決する。
論文 参考訳(メタデータ) (2025-03-14T20:15:04Z) - Leveraging Vision-Language Embeddings for Zero-Shot Learning in Histopathology Images [7.048241543461529]
ゼロショット組織像分類におけるこれらの課題に対処するため, MR-PHE(Multi-Resolution Prompt-Guided Hybrid Embedding)と呼ばれる新しいフレームワークを提案する。
我々は,グローバルな画像埋め込みと重み付けされたパッチ埋め込みを統合したハイブリッドな埋め込み戦略を導入する。
類似性に基づくパッチ重み付け機構は、クラス埋め込みとの関連性に基づいて、アテンションのような重み付けをパッチに割り当てる。
論文 参考訳(メタデータ) (2025-03-13T12:18:37Z) - Mind the Gap: Evaluating Patch Embeddings from General-Purpose and Histopathology Foundation Models for Cell Segmentation and Classification [0.20971479389679332]
一貫性のあるデコーダと各種エンコーダを備えたエンコーダデコーダアーキテクチャを実装した。
インスタンスレベルの検出,セグメンテーションの精度,および細胞型分類を評価した。
本研究は、一般目的と病理組織学の基礎モデルの比較強度と限界に関する知見を提供する。
論文 参考訳(メタデータ) (2025-02-04T16:47:00Z) - Path-RAG: Knowledge-Guided Key Region Retrieval for Open-ended Pathology Visual Question Answering [38.86674352317965]
そこで我々はPath-RAGという新しいフレームワークを提案し,病理画像から関連分野の知識を抽出する。
実験の結果,LLaVA-Medの精度は38%から47%に向上することが示唆された。
長文の質問と回答のペアに対して、我々のモデルは一貫して32.5%のARCH-Open PubMed、30.6%のARCH-Open Books on H&E imageを実現している。
論文 参考訳(メタデータ) (2024-11-26T03:22:01Z) - Knowledge-enhanced Visual-Language Pretraining for Computational Pathology [68.6831438330526]
本稿では,公共資源から収集した大規模画像テキストペアを利用した視覚的表現学習の課題について考察する。
ヒト32組織から病理診断を必要とする4,718の疾患に対して50,470個の情報属性からなる病理知識ツリーをキュレートする。
論文 参考訳(メタデータ) (2024-04-15T17:11:25Z) - Hierarchical Text-to-Vision Self Supervised Alignment for Improved Histopathology Representation Learning [64.1316997189396]
病理組織像のための新しい言語型自己教師学習フレームワーク,階層型言語型自己監督(HLSS)を提案する。
その結果,OpenSRH と TCGA の2つの医用画像ベンチマークにおいて,最先端の性能が得られた。
論文 参考訳(メタデータ) (2024-03-21T17:58:56Z) - UniCell: Universal Cell Nucleus Classification via Prompt Learning [76.11864242047074]
ユニバーサル細胞核分類フレームワーク(UniCell)を提案する。
異なるデータセットドメインから対応する病理画像のカテゴリを均一に予測するために、新しいプロンプト学習機構を採用している。
特に,本フレームワークでは,原子核検出と分類のためのエンドツーエンドアーキテクチャを採用し,フレキシブルな予測ヘッドを用いて様々なデータセットを適応する。
論文 参考訳(メタデータ) (2024-02-20T11:50:27Z) - HistoSegCap: Capsules for Weakly-Supervised Semantic Segmentation of
Histological Tissue Type in Whole Slide Images [19.975420988169454]
デジタル病理学では、物理的組織スライドを高解像度の全体スライド画像(WSI)に変換する。
多数の顕微鏡フィールドを持つ大きな組織学スライドは、ビジュアルサーチの課題を提起する。
コンピュータ支援診断システム(CAD)は、WSIを効率的に検査し、診断に関連のある領域を識別するための視覚的補助を提供する。
論文 参考訳(メタデータ) (2024-02-16T17:44:11Z) - The Whole Pathological Slide Classification via Weakly Supervised
Learning [7.313528558452559]
細胞核疾患と病理タイルの空間的相関の2つの病因を考察した。
本研究では,抽出器訓練中の汚れ分離を利用したデータ拡張手法を提案する。
次に,隣接行列を用いてタイル間の空間的関係を記述する。
これら2つのビューを統合することで,H&E染色組織像を解析するためのマルチインスタンス・フレームワークを設計した。
論文 参考訳(メタデータ) (2023-07-12T16:14:23Z) - PathAsst: A Generative Foundation AI Assistant Towards Artificial
General Intelligence of Pathology [15.419350834457136]
病理学における診断・予測分析に革命をもたらすための多モード生成基盤AIアシスタントであるPathAsstを提案する。
PathAsstの開発には、データ取得、CLIPモデル適応、PathAsstのマルチモーダル生成機能のトレーニングの3つの重要なステップが含まれている。
PathAsstの実験結果は、病理診断と治療プロセスを改善するためにAIを利用した生成基盤モデルを活用する可能性を示している。
論文 参考訳(メタデータ) (2023-05-24T11:55:50Z) - EBOCA: Evidences for BiOmedical Concepts Association Ontology [55.41644538483948]
本論文は,生物医学領域の概念とそれらの関連性を記述するオントロジーであるEBOCAと,それらの関連性を支持するエビデンスを提案する。
DISNETのサブセットから得られるテストデータとテキストからの自動アソシエーション抽出が変換され、実際のシナリオで使用できる知識グラフが作成されるようになった。
論文 参考訳(メタデータ) (2022-08-01T18:47:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。