論文の概要: Joint Self-Supervised Image-Volume Representation Learning with
Intra-Inter Contrastive Clustering
- arxiv url: http://arxiv.org/abs/2212.01893v1
- Date: Sun, 4 Dec 2022 18:57:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 17:14:49.794343
- Title: Joint Self-Supervised Image-Volume Representation Learning with
Intra-Inter Contrastive Clustering
- Title（参考訳）: コントラスト内クラスタリングによる自己監督型画像量表現学習
- Authors: Duy M. H. Nguyen, Hoang Nguyen, Mai T. N. Truong, Tri Cao, Binh T.
Nguyen, Nhat Ho, Paul Swoboda, Shadi Albarqouni, Pengtao Xie, Daniel Sonntag
- Abstract要約: 自己教師付き学習は、ラベル付きデータから特徴表現を学習することで、ラベル付きトレーニングサンプルの欠如を克服することができる。
現在の医療分野におけるSSL技術のほとんどは、2D画像または3Dボリュームのために設計されている。
本研究では2次元および3次元データモダリティの教師なし共同学習のための新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 31.52291149830299
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Collecting large-scale medical datasets with fully annotated samples for
training of deep networks is prohibitively expensive, especially for 3D volume
data. Recent breakthroughs in self-supervised learning (SSL) offer the ability
to overcome the lack of labeled training samples by learning feature
representations from unlabeled data. However, most current SSL techniques in
the medical field have been designed for either 2D images or 3D volumes. In
practice, this restricts the capability to fully leverage unlabeled data from
numerous sources, which may include both 2D and 3D data. Additionally, the use
of these pre-trained networks is constrained to downstream tasks with
compatible data dimensions. In this paper, we propose a novel framework for
unsupervised joint learning on 2D and 3D data modalities. Given a set of 2D
images or 2D slices extracted from 3D volumes, we construct an SSL task based
on a 2D contrastive clustering problem for distinct classes. The 3D volumes are
exploited by computing vectored embedding at each slice and then assembling a
holistic feature through deformable self-attention mechanisms in Transformer,
allowing incorporating long-range dependencies between slices inside 3D
volumes. These holistic features are further utilized to define a novel 3D
clustering agreement-based SSL task and masking embedding prediction inspired
by pre-trained language models. Experiments on downstream tasks, such as 3D
brain segmentation, lung nodule detection, 3D heart structures segmentation,
and abnormal chest X-ray detection, demonstrate the effectiveness of our joint
2D and 3D SSL approach. We improve plain 2D Deep-ClusterV2 and SwAV by a
significant margin and also surpass various modern 2D and 3D SSL approaches.
- Abstract（参考訳）: ディープネットワークのトレーニングのための完全な注釈付きサンプルで大規模な医療データセットを収集するのは、特に3Dボリュームデータにとって、極めて高価である。
最近の自己教師付き学習(ssl)のブレークスルーは、ラベルなしデータから特徴表現を学習することでラベル付きトレーニングサンプルの欠如を克服する機能を提供する。
しかし、現在の医療分野のssl技術のほとんどは、2d画像または3dボリューム用に設計されている。
実際には、2Dデータと3Dデータの両方を含む可能性のある、多数のソースからのラベルなしデータを完全に活用する能力を制限する。
さらに、これらの事前訓練されたネットワークの使用は、互換性のあるデータ次元を持つ下流タスクに制限される。
本稿では,2次元および3次元データモダリティの教師なし共同学習のための新しいフレームワークを提案する。
3Dボリュームから抽出した2D画像や2Dスライスを与えられた場合、異なるクラスに対する2Dコントラストクラスタリング問題に基づいてSSLタスクを構築する。
3dボリュームは、各スライスにベクトル埋め込みを計算し、トランスフォーマーの変形可能な自己アテンション機構を介して全体的特徴を組み立てることで活用され、3dボリューム内のスライス間の長距離依存性を組み込むことができる。
これらの全体的な特徴は、新しい3Dクラスタリング合意に基づくSSLタスクと、事前訓練された言語モデルにインスパイアされた埋め込み予測を定義するためにさらに活用される。
3次元脳セグメンテーション,肺結節検出,3次元心臓組織セグメンテーション,異常胸部x線検出などの下流課題の実験は,関節2次元および3次元sslアプローチの有効性を示している。
通常の2D Deep-ClusterV2 と SwAV を大きなマージンで改善するとともに,現代の2D と 3D SSL のアプローチを超越しています。
関連論文リスト
- Cross-Dimensional Medical Self-Supervised Representation Learning Based on a Pseudo-3D Transformation [68.60747298865394]
擬似3D変換(CDSSL-P3D)に基づく新しい三次元SSLフレームワークを提案する。
具体的には、2D画像を3Dデータに整合したフォーマットに変換するim2colアルゴリズムに基づく画像変換を提案する。
この変換は2次元および3次元データのシームレスな統合を可能にし、3次元医用画像解析のための相互教師あり学習を容易にする。
論文 参考訳（メタデータ） (2024-06-03T02:57:25Z) - Simultaneous Alignment and Surface Regression Using Hybrid 2D-3D
Networks for 3D Coherent Layer Segmentation of Retinal OCT Images with Full
and Sparse Annotations [32.69359482975795]
本研究は, ハイブリッド2D-3D畳み込みニューラルネットワーク(CNN)を基盤として, OCTボリュームから連続した3次元網膜層表面を得るための新しい枠組みを提案する。
人工的データセットと3つのパブリックな臨床データセットの実験により、我々のフレームワークは、潜在的運動補正のためにBスキャンを効果的に調整できることを示した。
論文 参考訳（メタデータ） (2023-12-04T08:32:31Z) - Leveraging Large-Scale Pretrained Vision Foundation Models for
Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。
我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。
本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
論文 参考訳（メタデータ） (2023-11-03T15:41:15Z) - 3D Arterial Segmentation via Single 2D Projections and Depth Supervision
in Contrast-Enhanced CT Images [9.324710035242397]
3D深層ネットワークのトレーニングには、専門家による大量の手動3Dアノテーションが必要である。
そこで本研究では,1つの注釈付き2Dプロジェクションのみから3次元膵動脈を分画する新しい手法を提案する。
トレーニングサンプル毎にランダムに選択された1つのプロジェクションをアノテートすることで、複数の2次元プロジェクションにアノテートするのに匹敵する性能が得られることを示す。
論文 参考訳（メタデータ） (2023-09-15T15:41:40Z) - Invariant Training 2D-3D Joint Hard Samples for Few-Shot Point Cloud
Recognition [108.07591240357306]
我々は,従来の3次元モデルとよく訓練された2次元モデルとの合同予測を用いて,少数の3次元物体の雲認識におけるデータ不足問題に取り組む。
異なるラベルに対して高い信頼性の予測を行う'結合型ハードサンプル'のトレーニングは、クラックがより効果的でないことが分かりました。
InvJointと呼ばれる提案した不変トレーニング戦略は、ハードサンプルに重点を置いているだけでなく、矛盾する2Dと3Dの不明瞭な予測の相違も求めている。
論文 参考訳（メタデータ） (2023-08-18T17:43:12Z) - Cross-modal & Cross-domain Learning for Unsupervised LiDAR Semantic
Segmentation [82.47872784972861]
対象領域における3次元LiDARセマンティックセマンティックセグメンテーション(DLSS)のラベル付けコストを軽減するため、ペア化された2次元画像と3次元LiDARデータに対して、クロスモーダルドメイン適応について検討した。
本稿では,セマンティックアノテーションを持つ2次元データセットとペアだが注釈のない2次元画像と3次元LiDARデータ(ターゲット)が利用できる新しい3DLSS設定について検討する。
このシナリオで3DLSSを実現するために,クロスモーダル・クロスドメイン学習(CoMoDaL)を提案する。
論文 参考訳（メタデータ） (2023-08-05T14:00:05Z) - Self-supervised learning via inter-modal reconstruction and feature
projection networks for label-efficient 3D-to-2D segmentation [4.5206601127476445]
ラベル効率のよい3D-to-2Dセグメンテーションのための新しい畳み込みニューラルネットワーク(CNN)と自己教師付き学習(SSL)手法を提案する。
異なるデータセットの結果から、提案されたCNNは、ラベル付きデータに制限のあるシナリオにおいて、Diceスコアの最大8%まで、アートの状態を著しく改善することが示された。
論文 参考訳（メタデータ） (2023-07-06T14:16:25Z) - Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud
Pre-training [65.75399500494343]
Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。
自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
論文 参考訳（メタデータ） (2023-02-27T17:56:18Z) - Super Images -- A New 2D Perspective on 3D Medical Imaging Analysis [0.0]
トレーニング中に3次元知識を効率的に埋め込んで3次元データを扱うための,シンプルで効果的な2次元手法を提案する。
本手法は3次元画像にスライスを並べて超高分解能画像を生成する。
2次元ネットワークのみを利用した3次元ネットワークを実現する一方で、モデルの複雑さはおよそ3倍に減少する。
論文 参考訳（メタデータ） (2022-05-05T09:59:03Z) - 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。
まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。
次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。
第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
論文 参考訳（メタデータ） (2021-04-06T02:22:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。