論文の概要: Self-Supervised Learning for Pre-training Capsule Networks: Overcoming Medical Imaging Dataset Challenges
- arxiv url: http://arxiv.org/abs/2502.04748v1
- Date: Fri, 07 Feb 2025 08:32:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-10 14:57:37.401617
- Title: Self-Supervised Learning for Pre-training Capsule Networks: Overcoming Medical Imaging Dataset Challenges
- Title（参考訳）: プレトレーニングカプセルネットワークのための自己教師付き学習:医療画像データセットの課題を克服する
- Authors: Heba El-Shimy, Hind Zantout, Michael A. Lones, Neamat El Gayar,
- Abstract要約: 本研究では,大腸癌に対するポリープ診断におけるプレトレーニングカプセルネットワークの自己指導的学習法について検討した。
我々は,医学データセットの典型的な課題を示す3,433個のサンプルからなるPICCOLOデータセットを使用した。
本研究は,医学領域における自己指導型学習の補助的課題として,コントラスト学習とインペイント技術が有用であることが示唆された。
- 参考スコア（独自算出の注目度）: 2.9248916859490173
- License:
- Abstract: Deep learning techniques are increasingly being adopted in diagnostic medical imaging. However, the limited availability of high-quality, large-scale medical datasets presents a significant challenge, often necessitating the use of transfer learning approaches. This study investigates self-supervised learning methods for pre-training capsule networks in polyp diagnostics for colon cancer. We used the PICCOLO dataset, comprising 3,433 samples, which exemplifies typical challenges in medical datasets: small size, class imbalance, and distribution shifts between data splits. Capsule networks offer inherent interpretability due to their architecture and inter-layer information routing mechanism. However, their limited native implementation in mainstream deep learning frameworks and the lack of pre-trained versions pose a significant challenge. This is particularly true if aiming to train them on small medical datasets, where leveraging pre-trained weights as initial parameters would be beneficial. We explored two auxiliary self-supervised learning tasks, colourisation and contrastive learning, for capsule network pre-training. We compared self-supervised pre-trained models against alternative initialisation strategies. Our findings suggest that contrastive learning and in-painting techniques are suitable auxiliary tasks for self-supervised learning in the medical domain. These techniques helped guide the model to capture important visual features that are beneficial for the downstream task of polyp classification, increasing its accuracy by 5.26% compared to other weight initialisation methods.
- Abstract（参考訳）: 深層学習技術は、診断医療画像にますます採用されている。
しかし、高品質で大規模な医療データセットの可用性が限られていることは、トランスファーラーニングアプローチを使う必要がしばしばある重要な課題である。
本研究では,大腸癌に対するポリープ診断におけるプレトレーニングカプセルネットワークの自己指導的学習法について検討した。
PICCOLOデータセットは,3,433個のサンプルからなり,小サイズ,クラス不均衡,データ分割間の分散シフトといった,医療データセットの典型的な課題を実証した。
カプセルネットワークは、そのアーキテクチャと層間情報ルーティング機構により、本質的に解釈可能である。
しかし、主流のディープラーニングフレームワークにおけるネイティブ実装の制限と、事前トレーニングされたバージョンがないことは、大きな課題である。
これは、トレーニング済み重量を初期パラメータとして活用することで、小さな医療データセットでトレーニングする場合には特に当てはまります。
本研究では,カプセルネットワーク事前学習のための2つの補助的自己教師型学習課題,色分けとコントラスト学習について検討した。
自己教師付き事前学習モデルと代替初期化戦略を比較した。
本研究は, 医学領域における自己指導型学習の補助的課題として, コントラスト学習とインペイント技術が有用であることが示唆された。
これらの技術は、ポリプ分類の下流に有用な重要な視覚的特徴を捉え、他の重量初期化法と比較して精度を5.26%向上させるのに役立った。
関連論文リスト
- Transfer or Self-Supervised? Bridging the Performance Gap in Medical Imaging [6.744847405966574]
本稿では,医療分野における転帰学習と自己指導学習のパフォーマンスと堅牢性を比較した。
我々は、データ不均衡、データの不足、ドメインミスマッチなど、医療領域で共通するいくつかの問題でデータをテストした。
医療分野における転帰学習と自己指導型学習の活用を支援するための推奨事項を提示する。
論文 参考訳（メタデータ） (2024-07-08T04:14:52Z) - Self-Supervised Pre-Training with Contrastive and Masked Autoencoder
Methods for Dealing with Small Datasets in Deep Learning for Medical Imaging [8.34398674359296]
医用画像の深層学習は、診断ミスのリスクを最小限に抑え、放射線医の作業量を減らし、診断を加速する可能性がある。
このようなディープラーニングモデルのトレーニングには,すべてのトレーニングサンプルに対するアノテーションを備えた,大規模かつ正確なデータセットが必要です。
この課題に対処するために、ディープラーニングモデルは、自己教師付き学習の分野からのメソッドを使用してアノテーションなしで、大規模な画像データセット上で事前トレーニングすることができる。
論文 参考訳（メタデータ） (2023-08-12T11:31:01Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - Understanding the Tricks of Deep Learning in Medical Image Segmentation:
Challenges and Future Directions [66.40971096248946]
本稿では,モデル実装の異なるフェーズに対して,MedISegの一連のトリックを収集する。
本稿では,これらの手法の有効性を一貫したベースライン上で実験的に検討する。
私たちはまた、それぞれのコンポーネントがプラグインとプレイの利点を持つ強力なMedISegリポジトリをオープンソースにしました。
論文 参考訳（メタデータ） (2022-09-21T12:30:05Z) - When Accuracy Meets Privacy: Two-Stage Federated Transfer Learning
Framework in Classification of Medical Images on Limited Data: A COVID-19
Case Study [77.34726150561087]
新型コロナウイルスのパンデミックが急速に広がり、世界の医療資源が不足している。
CNNは医療画像の解析に広く利用され、検証されている。
論文 参考訳（メタデータ） (2022-03-24T02:09:41Z) - On the Robustness of Pretraining and Self-Supervision for a Deep
Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
糖尿病網膜症における訓練方法の違いによる影響を比較検討した。
本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。
以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
論文 参考訳（メタデータ） (2021-06-25T08:32:45Z) - About Explicit Variance Minimization: Training Neural Networks for
Medical Imaging With Limited Data Annotations [2.3204178451683264]
VAT(Variance Aware Training)法は、モデル損失関数に分散誤差を導入することにより、この特性を利用する。
多様な領域から得られた3つの医用画像データセットと様々な学習目標に対するVATの有効性を検証した。
論文 参考訳（メタデータ） (2021-05-28T21:34:04Z) - Self supervised contrastive learning for digital histopathology [0.0]
我々はSimCLRと呼ばれる対照的な自己教師型学習手法を用いて、自然シーン画像の最先端結果を得た。
異なる種類の染色特性と分解特性とを組み合わせることで,学習した特徴の質が向上することがわかった。
学習した機能に基づいてトレーニングされた線形分類器は、デジタル病理学データセットで事前トレーニングされたネットワークが、ImageNet事前トレーニングされたネットワークよりも優れたパフォーマンスを示すことを示している。
論文 参考訳（メタデータ） (2020-11-27T19:18:45Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳（メタデータ） (2020-09-02T02:50:30Z) - Confident Coreset for Active Learning in Medical Image Analysis [57.436224561482966]
本稿では,情報的サンプルを効果的に選択するための,不確実性と分散性を考慮した新しい能動的学習手法である信頼コアセットを提案する。
2つの医用画像解析タスクの比較実験により,本手法が他の活動的学習方法より優れていることを示す。
論文 参考訳（メタデータ） (2020-04-05T13:46:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。