論文の概要: GNNFormer: A Graph-based Framework for Cytopathology Report Generation
- arxiv url: http://arxiv.org/abs/2303.09956v1
- Date: Fri, 17 Mar 2023 13:25:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-20 14:34:47.661155
- Title: GNNFormer: A Graph-based Framework for Cytopathology Report Generation
- Title(参考訳): GNNFormer: 細胞病理レポート生成のためのグラフベースのフレームワーク
- Authors: Yang-Fan Zhou, Kai-Lang Yao, Wu-Jun Li
- Abstract要約: グラフニューラルネットワーク(GNN)とTransformerをシームレスに同じフレームワークに統合する,GNNFormerという新しいグラフベースのフレームワークを提案する。
GNNFormerは、病理画像中の細胞間の構造情報を明示的にモデル化する最初のレポート生成方法である。
また、細胞間の構造情報、細胞の微細な形態特徴、背景の特徴を効果的に融合させ、高品質なレポートを生成する。
- 参考スコア(独自算出の注目度): 29.029394083824588
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cytopathology report generation is a necessary step for the standardized
examination of pathology images. However, manually writing detailed reports
brings heavy workloads for pathologists. To improve efficiency, some existing
works have studied automatic generation of cytopathology reports, mainly by
applying image caption generation frameworks with visual encoders originally
proposed for natural images. A common weakness of these works is that they do
not explicitly model the structural information among cells, which is a key
feature of pathology images and provides significant information for making
diagnoses. In this paper, we propose a novel graph-based framework called
GNNFormer, which seamlessly integrates graph neural network (GNN) and
Transformer into the same framework, for cytopathology report generation. To
the best of our knowledge, GNNFormer is the first report generation method that
explicitly models the structural information among cells in pathology images.
It also effectively fuses structural information among cells, fine-grained
morphology features of cells and background features to generate high-quality
reports. Experimental results on the NMI-WSI dataset show that GNNFormer can
outperform other state-of-the-art baselines.
- Abstract(参考訳): 病理組織学的レポートの作成は病理画像の標準化検査に必要なステップである。
しかし、手動で詳細なレポートを書くことは、病理学者に重荷をもたらす。
効率を向上させるために、自然画像に当初提案されていた視覚エンコーダを用いた画像キャプション生成フレームワークを応用し、細胞病理報告の自動生成に関する研究を行っている。
これらの研究の一般的な弱点は、病理画像の重要な特徴である細胞間の構造情報を明示的にモデル化していないことであり、診断を行う上で重要な情報を提供する。
本稿では,細胞病理報告生成のためのグラフニューラルネットワーク(GNN)とTransformerをシームレスに同じフレームワークに統合する,GNNFormerと呼ばれる新しいグラフベースのフレームワークを提案する。
我々の知る限り、GNNFormerは病理画像中の細胞間の構造情報を明示的にモデル化する最初のレポート生成手法である。
また、細胞間の構造情報、細胞の微細な形態特徴、背景特徴を効果的に融合し、高品質なレポートを生成する。
NMI-WSIデータセットの実験結果は、GNNFormerが他の最先端ベースラインより優れていることを示している。
関連論文リスト
- Automated Report Generation for Lung Cytological Images Using a CNN Vision Classifier and Multiple-Transformer Text Decoders: Preliminary Study [0.0]
感度と特異度はそれぞれ100%,96.4%であった。
生成されたテキストの文法とスタイルは、金本位とよりよく一致して正しいものと確認された。
論文 参考訳(メタデータ) (2024-03-26T23:32:29Z) - HistGen: Histopathology Report Generation via Local-Global Feature Encoding and Cross-modal Context Interaction [16.060286162384536]
HistGenは、病理組織学レポート生成のための学習可能なフレームワークである。
スライド画像全体(WSI)と局所的およびグローバルな粒度からの診断レポートを整列させることで、レポート生成を促進することを目的としている。
WSIレポート生成実験の結果,提案手法は最先端モデル(SOTA)よりも大きなマージンで優れていた。
論文 参考訳(メタデータ) (2024-03-08T15:51:43Z) - Tertiary Lymphoid Structures Generation through Graph-based Diffusion [54.37503714313661]
本研究では,最先端のグラフベース拡散モデルを用いて生物学的に意味のある細胞グラフを生成する。
本研究では, グラフ拡散モデルを用いて, 3次リンパ構造(TLS)の分布を正確に学習できることを示す。
論文 参考訳(メタデータ) (2023-10-10T14:37:17Z) - PathLDM: Text conditioned Latent Diffusion Model for Histopathology [62.970593674481414]
そこで我々は,高品質な病理像を生成するためのテキスト条件付き遅延拡散モデルPathLDMを紹介した。
提案手法は画像とテキストデータを融合して生成プロセスを強化する。
我々は,TCGA-BRCAデータセット上でのテキスト・ツー・イメージ生成において,SoTA FIDスコア7.64を達成し,FID30.1と最も近いテキスト・コンディショナブル・コンペティタを著しく上回った。
論文 参考訳(メタデータ) (2023-09-01T22:08:32Z) - Compact & Capable: Harnessing Graph Neural Networks and Edge Convolution
for Medical Image Classification [0.0]
本稿では,重要なグラフノード間の接続を強く表現するために,RGBチャネルの特徴値の相互接続性を活用し,GNNとエッジ畳み込みを組み合わせた新しいモデルを提案する。
提案モデルでは,最新のDeep Neural Networks (DNN) と同等に動作するが,1000倍のパラメータが減少し,トレーニング時間とデータ要求が短縮される。
論文 参考訳(メタデータ) (2023-07-24T13:39:21Z) - Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report
Generation [92.73584302508907]
コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。
詳しくは、グラフの基本構造は一般知識から事前構築される。
各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
論文 参考訳(メタデータ) (2023-03-18T03:53:43Z) - Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。
CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。
大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
論文 参考訳(メタデータ) (2022-06-04T13:16:30Z) - Self-Supervised Graph Representation Learning for Neuronal Morphologies [75.38832711445421]
ラベルのないデータセットから3次元神経形態の低次元表現を学習するためのデータ駆動型アプローチであるGraphDINOを提案する。
2つの異なる種と複数の脳領域において、この方法では、専門家による手動の特徴に基づく分類と同程度に形態学的細胞型クラスタリングが得られることを示す。
提案手法は,大規模データセットにおける新しい形態的特徴や細胞型の発見を可能にする可能性がある。
論文 参考訳(メタデータ) (2021-12-23T12:17:47Z) - Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文 参考訳(メタデータ) (2020-06-06T01:00:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。