論文の概要: Evaluating SAM-based and Convolutional Architectures in Thin Retinal Vessel Segmentation: Model Capacity, Computational Cost and Foundation Pre-training
- arxiv url: http://arxiv.org/abs/2611.00396v1
- Date: Fri, 30 Oct 2026 21:24:02 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:01:56.326383
- Title: Evaluating SAM-based and Convolutional Architectures in Thin Retinal Vessel Segmentation: Model Capacity, Computational Cost and Foundation Pre-training
- Title(参考訳): 薄い網膜血管セグメンテーションにおけるSAMベースおよび畳み込みアーキテクチャの評価:モデル容量、計算コスト、基礎事前学習
- Abstract要約: 網膜血管のセグメンテーションでは、視覚トランスフォーマー(ViT)は、薄い血管上の畳み込みニューラルネットワーク(CNN)よりも悪い性能を期待される。
我々は,3つの網膜データセットに対して,平易なViTエンコーダ(MedSAM),ハイブリッドトランスフォーマー(LiteMedSAM),CNNの3つのサイズを比較した。
プレトレーニング済みの平板ViTでは,より小型のモデルで同様の薄型容器性能が得られるが,薄型容器を見逃すという期待は得られない。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: In retinal vessel segmentation, plain Vision Transformers (ViTs) are commonly expected to perform worse than convolutional neural networks (CNNs) on thin vessels, for reasons such as their coarse patch tokenization, their weak locality bias and their need for large training sets. Although this expectation is widely shared in the literature, how plain ViTs actually compare with CNNs on thin vessels has not been systematically quantified. We address this question by comparing a model with a plain ViT encoder (MedSAM), a hybrid Transformer (LiteMedSAM) and three CNNs of different sizes on three retinal datasets (DRIVE, HRF, FIVES) and, as a second-domain check, a microscopy dataset (VessMap). We measured the centerline recall and precision of thin vessels and compared the models while also considering their computational cost and how many epochs they needed to train. We found that the pre-trained MedSAM had a centerline recall of thin vessels that was not significantly different from that of the best CNN on all four datasets (-0.6 to +2.5 percentage points). A compact plain ViT obtained through architecture search but trained from scratch did not retain this performance. For pre-trained plain ViTs, our results do not support the expectation that they miss thin vessels, although similar thin-vessel performance can be obtained with much smaller models.
- Abstract(参考訳): 網膜血管のセグメンテーションでは、粗いパッチトークン化、局所性の弱いバイアス、大規模なトレーニングセットの必要性などの理由から、平板の視覚トランスフォーマー(ViT)は、薄い血管上の畳み込みニューラルネットワーク(CNN)よりも悪いパフォーマンスを期待されている。
この期待は文献で広く共有されているが、VTが薄肉船のCNNと実際にどのように比較されているかは体系的に定量化されていない。
本稿では,3つの網膜データセット(DRIVE, HRF, FIVES)と2番目のドメインチェックとして,マイクロスコープデータセット(VessMap)のモデルと,ハイブリッドトランスフォーマー(LiteMedSAM)と3つのCNNを比較した。
我々は,薄肉船の中央リコールと精度を測定し,その計算コストと訓練に必要なエポック数を考慮しながら,モデルと比較した。
トレーニング済みのMedSAMは,4つのデータセット(-0.6~+2.5ポイント)で最高のCNNと大きく異なるような細い血管を中心的にリコールしていることがわかった。
アーキテクチャサーチによって得られたが、スクラッチから訓練されたコンパクトなプレーンなViTは、この性能を保たなかった。
プレトレーニング済みの平板ViTでは,より小型のモデルで同様の薄型容器性能が得られるが,薄型容器を見逃すという期待は得られない。
関連論文リスト
- Do Vision Model See Like the Brain? A Comparison Across EEG Encoding Model [1.224954637705144]
畳み込みニューラルネットワーク(CNN)と視覚変換器はどちらも人間の視覚システムをモデル化するために使用される。
我々は、各モデルの予測値と測定値のPearson相関を計算することで、6つのCNNと2つの視覚変換器を比較した。
CNNは最初期の層で最強の対応を示し、特に後続の刺激反応ではより深い層で弱体化した。
トランスフォーマーは最深のブロックでは強い対応を保ったが、最初期のブロックでは実現しなかった。
論文 参考訳(メタデータ) (2026-09-22T14:41:31Z) - Pretraining and Distillation Matter More Than Architecture Family for Label-Free Single-Cell Classification [0.0]
我々は,LIVECell位相コントラスト顕微鏡データに対して,ソース・イメージ・ディスジョイント・トレイン/バリデーション/テストプロトコルを用いてベンチマークを行った。
これにより、建築、事前訓練、微調整、蒸留の影響を解消することができる。
論文 参考訳(メタデータ) (2026-09-09T08:16:10Z) - VesSAM: Efficient Multi-Prompting for Segmenting Complex Vessel [68.24765319399286]
本稿では,2次元血管セグメンテーションに適した,強力で効率的なフレームワークであるVesSAMを提案する。
VesSAMは、(1)局所的なテクスチャ機能を強化する畳み込みアダプタ、(2)解剖学的プロンプトを融合するマルチプロンプトエンコーダ、(3)ジャグアーティファクトを減らす軽量マスクデコーダを統合する。
VesSAMは、最先端のPEFTベースのSAMを10%以上のDiceと13%のIoUで一貫して上回っている。
論文 参考訳(メタデータ) (2025-11-02T15:47:05Z) - A Comparative Study of Vision Transformers and CNNs for Few-Shot Rigid Transformation and Fundamental Matrix Estimation [3.5684665108045377]
視覚変換器(ViT)と大規模畳み込みニューラルネット(CNN)は、事前訓練された特徴表現を通じてコンピュータビジョンを再構築した。
本研究は,1)画像間の2次元剛性変換を推定し,2)ステレオ画像対の基本行列を予測する。
経験的比較分析は、スクラッチからのトレーニングと同様、ViTsは大規模なダウンストリームデータシナリオの洗練時にCNNを上回っていることを示している。
論文 参考訳(メタデータ) (2025-10-06T13:18:27Z) - OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation [70.17681136234202]
設計上の違いを再検討し、スパースCNNが達成できることの限界をテストする。
本稿では,このギャップを埋めるために,適応受容場(親和性)と適応関係という2つの重要な要素を提案する。
この調査により、軽量モジュールを統合するネットワークのファミリーであるOmni-Adaptive 3D CNN(OA-CNN)が開発された。
論文 参考訳(メタデータ) (2024-03-21T14:06:38Z) - InternImage: Exploring Large-Scale Vision Foundation Models with
Deformable Convolutions [95.94629864981091]
この研究は、パラメータの増加やViTsのようなトレーニングデータから得られるインターンイメージと呼ばれる、CNNベースの新しい大規模ファンデーションモデルを提案する。
提案されたInternImageは、従来のCNNの厳格な帰納バイアスを低減し、ViTのような大規模データから、より強く堅牢なパターンを学習できるようにする。
論文 参考訳(メタデータ) (2022-11-10T18:59:04Z) - EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision
Transformers [88.52500757894119]
自己注意に基づく視覚変換器(ViT)は、コンピュータビジョンにおける畳み込みニューラルネットワーク(CNN)に代わる、非常に競争力のあるアーキテクチャとして登場した。
われわれはEdgeViTsを紹介した。これは新しい軽量ViTのファミリーで、注目に基づく視覚モデルが初めて、最高の軽量CNNと競合することを可能にする。
論文 参考訳(メタデータ) (2022-05-06T18:17:19Z) - Training Vision Transformers with Only 2040 Images [35.86457465241119]
視覚変換器(ViT)は、視覚認識のための畳み込みニューラルネットワーク(CNN)の代替として登場した。
本手法は他の手法よりも優れているという理論的解析を行い,特徴のアライメントとインスタンスの類似性の両方を捉えることができる。
様々なViTバックボーンの下で7つの小さなデータセットをスクラッチからトレーニングすると、最先端の結果が得られます。
論文 参考訳(メタデータ) (2022-01-26T03:22:08Z) - A study of CNN capacity applied to Left Venticle Segmentation in Cardiac
MRI [0.0]
心臓MRI(Magnetic Resonance Imaging)における左心室(LV)セグメンテーションにCNNモデルが有用であった1例
1) より深いものではなく、浅いモデルを使う方がよいのはいつですか?
我々は,100から10,000の画像,異なるネットワークサイズ,学習率,正規化値の6つのサブセットで,スクラッチからトレーニングした3つのU-Netファミリーの深部および浅部バージョンを実験することによって,それに対応するフレームワークを提案する。
論文 参考訳(メタデータ) (2021-07-03T00:56:21Z) - Efficient Training of Visual Transformers with Small-Size Datasets [64.60765211331697]
進化的ネットワーク(CNN)に代わるアーキテクチャパラダイムとして、ビジュアルトランスフォーマー(VT)が登場している。
ImageNetでトレーニングされた場合、同等の精度を持つにもかかわらず、より小さなデータセットでのパフォーマンスは、大きく異なる可能性があることを示す。
本稿では,計算オーバーヘッドの少ない画像から追加情報を抽出できる自己教師型タスクを提案する。
論文 参考訳(メタデータ) (2021-06-07T16:14:06Z) - Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction
without Convolutions [103.03973037619532]
この研究は、畳み込みのない多くの密な予測タスクに有用な単純なバックボーンネットワークを調査します。
画像分類用に特別に設計された最近提案されたトランスフォーマーモデル(例: ViT)とは異なり、Pyramid Vision Transformer(PVT)を提案する。
PVTは、高出力の解像度を達成するために画像の高密度分割をトレーニングするだけでなく、高密度の予測に重要である。
論文 参考訳(メタデータ) (2021-02-24T08:33:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。