論文の概要: Self-supervised Visualisation of Medical Image Datasets
- arxiv url: http://arxiv.org/abs/2402.14566v2
- Date: Wed, 24 Jul 2024 21:52:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-26 19:26:49.280314
- Title: Self-supervised Visualisation of Medical Image Datasets
- Title(参考訳): 医用画像データセットの自己教師型可視化
- Authors: Ifeoma Veronica Nwabufo, Jan Niklas Böhm, Philipp Berens, Dmitry Kobak,
- Abstract要約: 自己教師付き学習法である$t$-SimCNEは、コントラスト学習を用いて、視覚化に適した2D表現を直接訓練する。
本研究では、皮膚科学、組織学、血液顕微鏡などの医療画像データセットの可視化に$t$-SimCNEを使用しました。
- 参考スコア(独自算出の注目度): 13.05427848112207
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised learning methods based on data augmentations, such as SimCLR, BYOL, or DINO, allow obtaining semantically meaningful representations of image datasets and are widely used prior to supervised fine-tuning. A recent self-supervised learning method, $t$-SimCNE, uses contrastive learning to directly train a 2D representation suitable for visualisation. When applied to natural image datasets, $t$-SimCNE yields 2D visualisations with semantically meaningful clusters. In this work, we used $t$-SimCNE to visualise medical image datasets, including examples from dermatology, histology, and blood microscopy. We found that increasing the set of data augmentations to include arbitrary rotations improved the results in terms of class separability, compared to data augmentations used for natural images. Our 2D representations show medically relevant structures and can be used to aid data exploration and annotation, improving on common approaches for data visualisation.
- Abstract(参考訳): SimCLR、BYOL、DINOなどのデータ拡張に基づく自己教師付き学習手法により、画像データセットの意味論的意味のある表現が得られ、教師付き微調整の前に広く使用される。
最近の自己教師型学習手法である$t$-SimCNEは、コントラスト学習を用いて、視覚化に適した2D表現を直接訓練する。
自然画像データセットに適用すると、$t$-SimCNEは意味論的に意味のあるクラスタを持つ2Dヴィジュアライゼーションが得られる。
本研究では、皮膚科学、組織学、血液顕微鏡などの医療画像データセットの可視化に$t$-SimCNEを使用しました。
その結果、任意の回転を含むデータ拡張の集合の増加は、自然画像に使用されるデータ拡張と比較して、クラス分離性の観点から結果を改善した。
我々の2D表現は、医学的に関係のある構造を示し、データ探索とアノテーションを補助し、データの可視化のための一般的なアプローチを改善するために使用することができる。
関連論文リスト
- ISImed: A Framework for Self-Supervised Learning using Intrinsic Spatial Information in Medical Images [0.0]
本稿では,自己監督学習(SSL)を用いて医用画像の解釈可能な表現を学習するために空間情報を利用することを実証する。
我々は、物理的領域における位置をキャプチャ可能な潜在表現を生成する自己教師対象を確立する。
提案手法は,データの基盤構造を捉える表現を効率的に学習し,下流の分類タスクに転送することができることを示す。
論文 参考訳(メタデータ) (2024-10-22T12:21:39Z) - Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。
我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
論文 参考訳(メタデータ) (2024-09-13T10:19:10Z) - Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。
対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。
提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
論文 参考訳(メタデータ) (2024-03-23T22:32:06Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳(メタデータ) (2023-03-30T18:20:00Z) - Best of Both Worlds: Multimodal Contrastive Learning with Tabular and
Imaging Data [7.49320945341034]
単調エンコーダを学習するための自己指導型コントラスト学習フレームワークを提案する。
我々のソリューションは、2つの主要なコントラスト学習戦略であるSimCLRとSCARFを組み合わせています。
DVMカー広告データセットを用いて,自然画像へのアプローチの一般化可能性を示す。
論文 参考訳(メタデータ) (2023-03-24T15:44:42Z) - Enhanced Transfer Learning Through Medical Imaging and Patient
Demographic Data Fusion [0.0]
画像特徴と関連する非画像データとを組み合わせた医療画像データの分類における性能向上について検討した。
特徴抽出器として直接使用し,対象領域に微調整を施したImageNetで事前訓練したネットワークを用いた転送学習を利用する。
論文 参考訳(メタデータ) (2021-11-29T09:11:52Z) - Enhancing MR Image Segmentation with Realistic Adversarial Data
Augmentation [17.539828821476224]
本稿では,学習データの利用効率を向上させるために,逆データ拡張手法を提案する。
本稿では,データ拡張モデルとセグメンテーションネットワークを協調的に最適化する汎用的なタスク駆動学習フレームワークを提案する。
提案した逆データ拡張は生成ネットワークに依存しず,汎用セグメンテーションネットワークのプラグインモジュールとして使用できる。
論文 参考訳(メタデータ) (2021-08-07T11:32:37Z) - Curious Representation Learning for Embodied Intelligence [81.21764276106924]
近年,自己指導型表現学習は顕著な成功を収めている。
しかし、真にインテリジェントなエージェントを構築するためには、環境から学習できる表現学習アルゴリズムを構築する必要がある。
本稿では,強化学習方針と視覚的表現モデルを同時に学習する,好奇心をそそる表現学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-05-03T17:59:20Z) - SAG-GAN: Semi-Supervised Attention-Guided GANs for Data Augmentation on
Medical Images [47.35184075381965]
本稿では,GAN(Cycle-Consistency Generative Adversarial Networks)を用いた医用画像生成のためのデータ拡張手法を提案する。
提案モデルでは,正常画像から腫瘍画像を生成することができ,腫瘍画像から正常画像を生成することもできる。
本研究では,従来のデータ拡張手法と合成画像を用いた分類モデルを用いて,実画像を用いた分類モデルを訓練する。
論文 参考訳(メタデータ) (2020-11-15T14:01:24Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳(メタデータ) (2020-03-31T11:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。