論文の概要: More for Less: Compact Convolutional Transformers Enable Robust Medical
Image Classification with Limited Data
- arxiv url: http://arxiv.org/abs/2307.00213v1
- Date: Sat, 1 Jul 2023 03:31:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 17:21:54.523806
- Title: More for Less: Compact Convolutional Transformers Enable Robust Medical
Image Classification with Limited Data
- Title（参考訳）: 小型畳み込みトランスフォーマーで限られたデータでロバストな医用画像分類が可能に
- Authors: Andrew Kean Gao
- Abstract要約: 本研究では,限られたデータを用いた医用画像分類におけるコンパクト畳み込み変換器の有効性について検討した。
変換器と畳み込み層のハイブリッドであるCCTは、適度なサイズのデータセットに対して高い精度を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Transformers are very powerful tools for a variety of tasks across domains,
from text generation to image captioning. However, transformers require
substantial amounts of training data, which is often a challenge in biomedical
settings, where high quality labeled data can be challenging or expensive to
obtain. This study investigates the efficacy of Compact Convolutional
Transformers (CCT) for robust medical image classification with limited data,
addressing a key issue faced by conventional Vision Transformers - their
requirement for large datasets. A hybrid of transformers and convolutional
layers, CCTs demonstrate high accuracy on modestly sized datasets. We employed
a benchmark dataset of peripheral blood cell images of eight distinct cell
types, each represented by approximately 2,000 low-resolution (28x28x3 pixel)
samples. Despite the dataset size being smaller than those typically used with
Vision Transformers, we achieved a commendable classification accuracy of
92.49% and a micro-average ROC AUC of 0.9935. The CCT also learned quickly,
exceeding 80% validation accuracy after five epochs. Analysis of per-class
precision, recall, F1, and ROC showed that performance was strong across cell
types. Our findings underscore the robustness of CCTs, indicating their
potential as a solution to data scarcity issues prevalent in biomedical
imaging. We substantiate the applicability of CCTs in data-constrained areas
and encourage further work on CCTs.
- Abstract（参考訳）: トランスフォーマーは、テキスト生成から画像キャプションまで、ドメイン横断のさまざまなタスクに対して非常に強力なツールです。
しかし、トランスフォーマーは大量のトレーニングデータを必要とするため、高品質なラベル付きデータが入手しにくい、あるいはコストのかかるバイオメディカルな環境では難しいことが多い。
本研究では,コンパクト畳み込み変換器(CCT)の限られたデータを用いた堅牢な医用画像分類における有効性について検討し,従来のビジョン変換器が直面する重要な課題である大規模データセットの要求に対処する。
変換器と畳み込み層のハイブリッドであるCCTは、適度なサイズのデータセットに対して高い精度を示す。
低解像度(28x28x3ピクセル)のサンプル約2,000個で表される8種類の異なる細胞型の末梢血細胞画像のベンチマークデータセットを用いた。
データセットのサイズは、視覚トランスフォーマーで使われるものよりも小さいが、推奨可能な分類精度は92.49%、マイクロ平均roc aucは0.9935である。
また,CCTは5回経過後,80%以上の検証精度が得られた。
クラスごとの精度,リコール,F1,ROCを解析したところ,細胞タイプ間では高い性能を示した。
バイオメディカルイメージングにおいて,データ不足問題に対する解決法としてのCTの有用性が示唆された。
我々は,データ制約領域におけるCCTの適用性を検証し,CCTのさらなる開発を奨励する。
関連論文リスト
- DCT-HistoTransformer: Efficient Lightweight Vision Transformer with DCT Integration for histopathological image analysis [0.0]
視覚変換器(ViTs)を用いた乳がんの新しい軽度分類法を提案する。
離散コサイン変換(DCT)アテンションとMobileConvの並列処理経路を組み込むことで、空間領域の画像データを周波数領域に変換し、画像内の高周波数をフィルタリングするといった利点を利用する。
提案モデルでは,バイナリ分類では96.00%$pm$0.48%,マルチクラス分類では87.85%$pm$0.93%の精度が得られた。
論文 参考訳（メタデータ） (2024-10-24T21:16:56Z) - GenFormer -- Generated Images are All You Need to Improve Robustness of Transformers on Small Datasets [11.343905946690352]
我々は、生成した画像を利用したデータ拡張戦略であるGenFormerを提案し、小型画像分類タスクにおける変換器の精度とロバスト性を改善する。
総合評価では、Tiny ImageNetの新たなテストセットとして、Tiny ImageNetV2, -R, -Aを提案する。
我々は,訓練データに制限のある困難条件下でのアプローチの有効性を実証し,精度と堅牢性の両方において有意な改善が示された。
論文 参考訳（メタデータ） (2024-08-26T09:26:08Z) - Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。
本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。
実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2023-10-22T02:27:02Z) - Breast Ultrasound Tumor Classification Using a Hybrid Multitask
CNN-Transformer Network [63.845552349914186]
胸部超音波(BUS)画像分類において,グローバルな文脈情報の収集が重要な役割を担っている。
ビジョントランスフォーマーは、グローバルなコンテキスト情報をキャプチャする能力が改善されているが、トークン化操作によって局所的なイメージパターンを歪めてしまう可能性がある。
本研究では,BUS腫瘍分類とセグメンテーションを行うハイブリッドマルチタスクディープニューラルネットワークであるHybrid-MT-ESTANを提案する。
論文 参考訳（メタデータ） (2023-08-04T01:19:32Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳（メタデータ） (2023-03-01T23:37:45Z) - PrepNet: A Convolutional Auto-Encoder to Homogenize CT Scans for
Cross-Dataset Medical Image Analysis [0.22485007639406518]
新型コロナウイルスの診断はPCR検査で効率的に行えるようになったが、このユースケースは、データの多様性を克服する方法論の必要性を実証するものだ。
本稿では,CTスキャンに最小限の変更を同時に導入しながら,イメージング技術によって引き起こされる差を解消することを目的とした,新しい生成手法を提案する。
論文 参考訳（メタデータ） (2022-08-19T15:49:47Z) - Data-Efficient Vision Transformers for Multi-Label Disease
Classification on Chest Radiographs [55.78588835407174]
視覚変換器(ViT)は一般的な画像の分類性能が高いにもかかわらず、このタスクには適用されていない。
ViTは、畳み込みではなくパッチベースの自己アテンションに依存しており、CNNとは対照的に、ローカル接続に関する事前の知識は存在しない。
以上の結果から,ViTとCNNのパフォーマンスはViTの利点に匹敵するものの,DeiTsはトレーニング用に適度に大規模なデータセットが利用可能であれば,前者よりも優れることがわかった。
論文 参考訳（メタデータ） (2022-08-17T09:07:45Z) - The Fully Convolutional Transformer for Medical Image Segmentation [2.87898780282409]
そこで本研究では,様々なモダリティの医用画像の分割が可能なトランスフォーマーモデルを提案する。
FCT(Fully Convolutional Transformer)は、医学画像学における最初の完全畳み込みトランスモデルである。
論文 参考訳（メタデータ） (2022-06-01T15:22:41Z) - Towards Data-Efficient Detection Transformers [77.43470797296906]
我々は、ほとんどの検出トランスフォーマーが、小さなデータセットで大きなパフォーマンス低下に悩まされていることを示す。
我々はデータ効率に影響を与える要因を、データ効率のRCNNから代表DETRへのステップバイステップ遷移によって実証的に分析する。
本稿では,よりリッチな監視とデータ効率向上を目的とした,シンプルながら効果的なラベル拡張手法を提案する。
論文 参考訳（メタデータ） (2022-03-17T17:56:34Z) - Vision Transformers for femur fracture classification [59.99241204074268]
Vision Transformer (ViT) はテスト画像の83%を正確に予測することができた。
史上最大かつ最もリッチなデータセットを持つサブフラクチャーで良い結果が得られた。
論文 参考訳（メタデータ） (2021-08-07T10:12:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。