論文の概要: DINOv2 based Self Supervised Learning For Few Shot Medical Image
Segmentation
- arxiv url: http://arxiv.org/abs/2403.03273v1
- Date: Tue, 5 Mar 2024 19:13:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 17:04:01.586107
- Title: DINOv2 based Self Supervised Learning For Few Shot Medical Image
Segmentation
- Title(参考訳): dinov2を用いた自己教師付き学習
- Authors: Lev Ayzenberg, Raja Giryes, Hayit Greenspan
- Abstract要約: 少数のショットセグメンテーションは、限られたラベル付き例から新しいクラスを学ぶ能力を持つモデルを提供することで、有望なソリューションを提供する。
FSSの主要な手法はALPNetで、クエリイメージと数少ないサポートセグメントイメージの機能を比較する。
本研究は, 高性能化だけでなく, より堅牢で適応可能な医用画像解析の道を開く, 少数ショットセグメンテーションへの新たなアプローチを提案する。
- 参考スコア(独自算出の注目度): 33.471116581196796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning models have emerged as the cornerstone of medical image
segmentation, but their efficacy hinges on the availability of extensive
manually labeled datasets and their adaptability to unforeseen categories
remains a challenge. Few-shot segmentation (FSS) offers a promising solution by
endowing models with the capacity to learn novel classes from limited labeled
examples. A leading method for FSS is ALPNet, which compares features between
the query image and the few available support segmented images. A key question
about using ALPNet is how to design its features. In this work, we delve into
the potential of using features from DINOv2, which is a foundational
self-supervised learning model in computer vision. Leveraging the strengths of
ALPNet and harnessing the feature extraction capabilities of DINOv2, we present
a novel approach to few-shot segmentation that not only enhances performance
but also paves the way for more robust and adaptable medical image analysis.
- Abstract(参考訳): 深層学習モデルは、医療画像セグメンテーションの基盤として現れてきたが、その有効性は、広範囲な手動ラベル付きデータセットと、予期せぬカテゴリへの適応性にかかっている。
Few-shot segmentation (FSS)は、限定ラベル付き例から新しいクラスを学ぶ能力を持つモデルを提供することによって、有望なソリューションを提供する。
fssのリードメソッドはalpnetで、クエリイメージと利用可能な少数のサポートセグメンテーションイメージの機能を比較する。
ALPNetの使用に関する重要な質問は、その機能の設計方法だ。
本研究では,コンピュータビジョンにおける基礎的自己教師型学習モデルであるDINOv2の機能を利用する可能性を探究する。
本稿では,ALPNetの強みを活用し,DINOv2の特徴抽出機能を活用することにより,より堅牢で適応可能な医用画像解析の道筋をたどる,少数ショットセグメンテーションへの新たなアプローチを提案する。
関連論文リスト
- Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。
まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。
抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
論文 参考訳(メタデータ) (2024-05-30T05:53:49Z) - Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。
人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。
本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
論文 参考訳(メタデータ) (2024-05-06T02:02:57Z) - Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。
この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。
実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
論文 参考訳(メタデータ) (2024-03-19T17:59:52Z) - Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。
学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。
提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
論文 参考訳(メタデータ) (2023-12-22T14:40:55Z) - Self-Supervised Open-Ended Classification with Small Visual Language
Models [60.23212389067007]
我々は、小さな視覚言語モデルを用いたオープンエンド分類のための数ショットの能力を解放する自己教師型アプローチであるSeCAtを提案する。
約1Bパラメータを持つモデルを使用することで、FrozenやBrobAGeといった、はるかに大きなモデルの少数ショット能力より優れています。
論文 参考訳(メタデータ) (2023-09-30T21:41:21Z) - A Dual-branch Self-supervised Representation Learning Framework for
Tumour Segmentation in Whole Slide Images [12.961686610789416]
自己教師付き学習(SSL)は、スライドイメージ全体のアノテーションオーバーヘッドを低減する代替ソリューションとして登場した。
これらのSSLアプローチは、識別画像の特徴を学習する際の性能を制限するマルチレゾリューションWSIを扱うために設計されていない。
マルチ解像度WSIから画像特徴を効果的に学習できるDSF-WSI(Dual-branch SSL Framework for WSI tumour segmentation)を提案する。
論文 参考訳(メタデータ) (2023-03-20T10:57:28Z) - Exemplar Learning for Medical Image Segmentation [38.61378161105941]
医用画像セグメンテーションのためのempllar Learning-based Synthesis Net (ELSNet) フレームワークを提案する。
ELSNetはイメージセグメンテーションのための2つの新しいモジュールを導入している。
いくつかの臓器セグメント化データセットの実験を行い,詳細な解析を行った。
論文 参考訳(メタデータ) (2022-04-03T00:10:06Z) - Budget-aware Few-shot Learning via Graph Convolutional Network [56.41899553037247]
本稿では,いくつかの例から新しい視覚概念を学習することを目的とした,数ショット学習の課題に取り組む。
数ショット分類における一般的な問題設定は、データラベルの取得においてランダムサンプリング戦略を前提としている。
そこで我々は,新しい対象カテゴリーの学習を目的とした,予算に配慮した数発の学習問題を新たに導入する。
論文 参考訳(メタデータ) (2022-01-07T02:46:35Z) - Pay Attention with Focus: A Novel Learning Scheme for Classification of
Whole Slide Images [8.416553728391309]
スライド画像全体(WSI)を解析するための新しい2段階アプローチを提案する。
まず、WSIから代表パッチ(モザイクと呼ばれる)を抽出する。
モザイクの各パッチは、ディープネットワークを用いて特徴ベクトルに符号化される。
第2段階では、WSIから符号化されたパッチレベルの一連の特徴を用いて、一次診断確率を算出する。
論文 参考訳(メタデータ) (2021-06-11T21:59:02Z) - Whole Slide Images based Cancer Survival Prediction using Attention
Guided Deep Multiple Instance Learning Networks [38.39901070720532]
Whole Slide Images(WSIs)から派生したキーパッチやクラスタに制限される現在の画像ベースサバイバルモデル
我々は,シムMI-FCNとアテンションベースMILプーリングの両方を導入して,Deep Attention Multiple Instance Survival Learning (DeepAttnMISL)を提案する。
提案手法を2つの大きな癌全スライド画像データセットで評価した結果,提案手法がより効果的で,大規模データセットに適していることが示唆された。
論文 参考訳(メタデータ) (2020-09-23T14:31:15Z) - Pairwise Relation Learning for Semi-supervised Gland Segmentation [90.45303394358493]
病理組織像における腺分節に対するPRS2モデルを提案する。
このモデルはセグメンテーションネットワーク(S-Net)とペア関係ネットワーク(PR-Net)から構成される。
我々は,GlaSデータセットの最近の5つの手法とCRAGデータセットの最近の3つの手法を比較した。
論文 参考訳(メタデータ) (2020-08-06T15:02:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。