論文の概要: How GNNs Facilitate CNNs in Mining Geometric Information from
Large-Scale Medical Images
- arxiv url: http://arxiv.org/abs/2206.07599v1
- Date: Wed, 15 Jun 2022 15:27:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-16 15:19:39.537340
- Title: How GNNs Facilitate CNNs in Mining Geometric Information from
Large-Scale Medical Images
- Title（参考訳）: 大規模医用画像の幾何学的情報マイニングにおけるGNNの意義
- Authors: Yiqing Shen, Bingxin Zhou, Xinye Xiong, Ruitian Gao, Yu Guang Wang
- Abstract要約: 畳み込みニューラルネットワーク(CNN)が捉えたグローバルな画像レベルの表現を強化するための融合フレームワークを提案する。
大腸癌と胃癌の大規模なコホートから得られた組織学的データセットの融合戦略について検討した。
- 参考スコア（独自算出の注目度）: 2.2699159408903484
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gigapixel medical images provide massive data, both morphological textures
and spatial information, to be mined. Due to the large data scale in histology,
deep learning methods play an increasingly significant role as feature
extractors. Existing solutions heavily rely on convolutional neural networks
(CNNs) for global pixel-level analysis, leaving the underlying local geometric
structure such as the interaction between cells in the tumor microenvironment
unexplored. The topological structure in medical images, as proven to be
closely related to tumor evolution, can be well characterized by graphs. To
obtain a more comprehensive representation for downstream oncology tasks, we
propose a fusion framework for enhancing the global image-level representation
captured by CNNs with the geometry of cell-level spatial information learned by
graph neural networks (GNN). The fusion layer optimizes an integration between
collaborative features of global images and cell graphs. Two fusion strategies
have been developed: one with MLP which is simple but turns out efficient
through fine-tuning, and the other with Transformer gains a champion in fusing
multiple networks. We evaluate our fusion strategies on histology datasets
curated from large patient cohorts of colorectal and gastric cancers for three
biomarker prediction tasks. Both two models outperform plain CNNs or GNNs,
reaching a consistent AUC improvement of more than 5% on various network
backbones. The experimental results yield the necessity for combining
image-level morphological features with cell spatial relations in medical image
analysis. Codes are available at https://github.com/yiqings/HEGnnEnhanceCnn.
- Abstract（参考訳）: ギガピクセルの医療画像は、形態的テクスチャと空間情報の両方で大量のデータを採掘する。
組織学における大規模なデータスケールのため、深層学習法は特徴抽出器としてますます重要な役割を担っている。
既存のソリューションは畳み込みニューラルネットワーク(cnns)を大域的なピクセルレベル分析に強く依存しており、腫瘍の微小環境における細胞間の相互作用のような局所的な幾何学的構造は未検討のままである。
医用画像の位相構造は、腫瘍の進化と密接に関連していることが証明されており、グラフによって特徴づけられる。
下流オンコロジータスクのより包括的な表現を得るために,グラフニューラルネットワーク(GNN)で学習したセルレベル空間情報の幾何学を用いて,CNNが捉えたグローバル画像レベルの表現を強化する融合フレームワークを提案する。
fusion layerは、グローバルイメージとセルグラフの協調機能の統合を最適化する。
2つの融合戦略が開発されている: 1つは単純だが微調整により効率が良いMLP、もう1つはTransformerで複数のネットワークを融合させる。
大腸癌および胃癌の大コホートから得られた組織学的データセットの融合戦略を3つのバイオマーカー予測タスクで評価した。
どちらのモデルも通常のCNNやGNNよりも優れており、様々なネットワークバックボーンでAUCの改善は5%以上に達した。
実験結果は, 医用画像解析において, 画像レベルの形態的特徴と細胞空間的関係を組み合わせることの必要性を示唆する。
コードはhttps://github.com/yiqings/HEGnnEnhanceCnnで入手できる。
関連論文リスト
- Mew: Multiplexed Immunofluorescence Image Analysis through an Efficient Multiplex Network [84.88767228835928]
マルチプレックスネットワークのレンズを通してmIF画像を効率的に処理する新しいフレームワークであるMewを紹介する。
Mew は、幾何学情報のための Voronoi ネットワークと、セルワイドの均一性を捉えるセル型ネットワークという、2つの異なる層からなる多重ネットワークを革新的に構築する。
このフレームワークは、トレーニング中にグラフ全体を処理できるスケーラブルで効率的なグラフニューラルネットワーク(GNN)を備えている。
論文 参考訳（メタデータ） (2024-07-25T08:22:30Z) - Transformer-CNN Fused Architecture for Enhanced Skin Lesion Segmentation [0.0]
畳み込みニューラルネットワーク(CNN)は、非常に高度な医療画像セグメンテーションを持つ。
CNNは、長距離依存関係の学習とグローバルコンテキストの取得に苦労している。
我々は、トランスフォーマーがグローバルな依存関係をキャプチャする能力と、CNNが低レベル空間の詳細をキャプチャする能力を組み合わせたハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-01-10T18:36:14Z) - Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。
最初はFlyTracingという名前のデータセットを構築しました。
本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-01-05T19:45:12Z) - Robust Tumor Segmentation with Hyperspectral Imaging and Graph Neural
Networks [31.87960207119459]
より堅牢でスムーズなセグメンテーションのために,タイルの空間的文脈を利用した改良手法を提案する。
タイルの不規則な形状に対処するため,グラフニューラルネットワーク(GNN)を用いて周辺地域のコンテキスト情報を伝播する。
以上の結果から, 文脈認識型GNNアルゴリズムは, HSI画像上の腫瘍の区切りを頑健に検出できることが示唆された。
論文 参考訳（メタデータ） (2023-11-20T14:07:38Z) - Asymmetric Co-Training with Explainable Cell Graph Ensembling for
Histopathological Image Classification [28.949527817202984]
本稿では,深部グラフ畳み込みニューラルネットワークと畳み込みニューラルネットワークを組み合わせた非対称協調学習フレームワークを提案する。
セルグラフデータを扱う14層ディープグラフ畳み込みネットワークを構築した。
プライベートLUAD7Cおよびパブリック大腸癌データセットに対するアプローチについて検討した。
論文 参考訳（メタデータ） (2023-08-24T12:27:03Z) - Breast Ultrasound Tumor Classification Using a Hybrid Multitask
CNN-Transformer Network [63.845552349914186]
胸部超音波(BUS)画像分類において,グローバルな文脈情報の収集が重要な役割を担っている。
ビジョントランスフォーマーは、グローバルなコンテキスト情報をキャプチャする能力が改善されているが、トークン化操作によって局所的なイメージパターンを歪めてしまう可能性がある。
本研究では,BUS腫瘍分類とセグメンテーションを行うハイブリッドマルチタスクディープニューラルネットワークであるHybrid-MT-ESTANを提案する。
論文 参考訳（メタデータ） (2023-08-04T01:19:32Z) - NexToU: Efficient Topology-Aware U-Net for Medical Image Segmentation [3.8336080345323227]
CNNとTransformerの派生型は、主要な医療画像セグメンテーションバックボーンとして登場した。
医用画像分割のための新しいハイブリッドアーキテクチャであるNexToUを提案する。
我々の手法は、他の最先端(SOTA)アーキテクチャよりも一貫して優れています。
論文 参考訳（メタデータ） (2023-05-25T10:18:57Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳（メタデータ） (2023-03-01T23:37:45Z) - Multi-Scale Relational Graph Convolutional Network for Multiple Instance
Learning in Histopathology Images [2.6663738081163726]
マルチスケールグラフ畳み込みネットワーク(MS-RGCN)をマルチラーニング手法として導入する。
病理組織像パッチと近隣のパッチと他のスケールのパッチとの関係をグラフとしてモデル化する。
前立腺癌の病理組織像を実験的に検討し,パッチから抽出した特徴に基づいて拡大群を予測した。
論文 参考訳（メタデータ） (2022-12-17T02:26:42Z) - Two-Stream Graph Convolutional Network for Intra-oral Scanner Image
Segmentation [133.02190910009384]
本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。
TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
論文 参考訳（メタデータ） (2022-04-19T10:41:09Z) - Spatio-Temporal Inception Graph Convolutional Networks for
Skeleton-Based Action Recognition [126.51241919472356]
我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。
ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
論文 参考訳（メタデータ） (2020-11-26T14:43:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。