論文の概要: Intermediate Layers Matter in Momentum Contrastive Self Supervised
Learning
- arxiv url: http://arxiv.org/abs/2110.14805v1
- Date: Wed, 27 Oct 2021 22:40:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-29 13:39:54.520241
- Title: Intermediate Layers Matter in Momentum Contrastive Self Supervised
Learning
- Title(参考訳): モーメントコントラスト型自己監督学習における中間層
- Authors: Aakash Kaku, Sahana Upadhya, Narges Razavian
- Abstract要約: 自己教師付き学習において,画像の2つの拡張版を中間層で表現することで,モーメントコントラスト(MoCo)法の改善が期待できることを示す。
特徴類似性分析とレイヤワイズ探索を用いて,新しい手法を用いて学習したモデルを分析する。
- 参考スコア(独自算出の注目度): 1.933681537640272
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We show that bringing intermediate layers' representations of two augmented
versions of an image closer together in self-supervised learning helps to
improve the momentum contrastive (MoCo) method. To this end, in addition to the
contrastive loss, we minimize the mean squared error between the intermediate
layer representations or make their cross-correlation matrix closer to an
identity matrix. Both loss objectives either outperform standard MoCo, or
achieve similar performances on three diverse medical imaging datasets:
NIH-Chest Xrays, Breast Cancer Histopathology, and Diabetic Retinopathy. The
gains of the improved MoCo are especially large in a low-labeled data regime
(e.g. 1% labeled data) with an average gain of 5% across three datasets. We
analyze the models trained using our novel approach via feature similarity
analysis and layer-wise probing. Our analysis reveals that models trained via
our approach have higher feature reuse compared to a standard MoCo and learn
informative features earlier in the network. Finally, by comparing the output
probability distribution of models fine-tuned on small versus large labeled
data, we conclude that our proposed method of pre-training leads to lower
Kolmogorov-Smirnov distance, as compared to a standard MoCo. This provides
additional evidence that our proposed method learns more informative features
in the pre-training phase which could be leveraged in a low-labeled data
regime.
- Abstract(参考訳): 自己教師付き学習において,画像の2つの拡張版を中間層で表現することで,モーメントコントラスト(MoCo)法の改善が期待できることを示す。
この目的のために、コントラスト損失に加えて、中間層表現間の平均二乗誤差を最小化し、それらの相互相関行列を等式行列に近づける。
どちらの損失目標も標準のMoCoより優れているか、NIH-Chest Xrays、乳癌組織学、糖尿病網膜症という3つの多様な医療画像データセットで同様のパフォーマンスを達成する。
改良されたMoCoのゲインは、低ラベルのデータレギュレーション(例えば1%ラベル付きデータ)において特に大きく、3つのデータセットの平均ゲインは5%である。
我々は,特徴類似性解析と層間探索により,新しい手法で学習したモデルを解析した。
分析の結果,本手法によりトレーニングしたモデルは,標準的なMoCoに比べて高い機能再利用率を示し,ネットワークの早期に情報的特徴を学習する。
最後に,小・大規模ラベル付きデータに微調整されたモデルの出力確率分布を比較することにより,提案手法が標準MoCoと比較してコルモゴロフ-スミルノフ距離を低くすることを示した。
これにより,提案手法は,低ラベルデータ方式で活用可能な事前学習フェーズにおいて,より情報的な特徴を学習できることを示す。
関連論文リスト
- Learning Energy-Based Models by Cooperative Diffusion Recovery
Likelihood [70.96045509920326]
高次元データに対する最大推定値のトレーニングエネルギーベースモデル(EBMs)は、困難かつ時間を要する可能性がある。
本研究では,データセットの雑音の増大する頂点上で定義された一連のEMMから,協調拡散回復確率(CDRL)を抽出し,抽出する手法を提案する。
CIFAR-10 と ImageNet 32x32 の既存 EBM 法と比較して FID のスコアが大幅に向上し,DRL を2倍高速化した。
論文 参考訳(メタデータ) (2023-09-10T22:05:24Z) - Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。
我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
論文 参考訳(メタデータ) (2023-08-10T08:43:20Z) - Layer-wise Linear Mode Connectivity [56.53308504862033]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識を融合させる直感的な方法である。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳(メタデータ) (2023-07-13T09:39:10Z) - Multi-Scale Cross Contrastive Learning for Semi-Supervised Medical Image
Segmentation [14.536384387956527]
医用画像の構造を分割するマルチスケールクロススーパービジョンコントラスト学習フレームワークを開発した。
提案手法は,頑健な特徴表現を抽出するために,地上構造と横断予測ラベルに基づくマルチスケール特徴と対比する。
Diceでは最先端の半教師あり手法を3.0%以上上回っている。
論文 参考訳(メタデータ) (2023-06-25T16:55:32Z) - Rethinking Semi-Supervised Medical Image Segmentation: A
Variance-Reduction Perspective [51.70661197256033]
医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。
まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。
5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
論文 参考訳(メタデータ) (2023-02-03T13:50:25Z) - Successive Subspace Learning for Cardiac Disease Classification with
Two-phase Deformation Fields from Cine MRI [36.044984400761535]
本研究は,CVD分類のための軽量な逐次サブスペース学習フレームワークを提案する。
解釈可能なフィードフォワードデザインに基づいており、心房と組み合わせている。
3D CNNベースのアプローチと比較して、我々のフレームワークは140$times$より少ないパラメータで優れた分類性能を実現する。
論文 参考訳(メタデータ) (2023-01-21T15:00:59Z) - Stacking Ensemble Learning in Deep Domain Adaptation for Ophthalmic
Image Classification [61.656149405657246]
ドメイン適応は、十分なラベルデータを取得することが困難な画像分類タスクに有効である。
本稿では,3つのドメイン適応手法を拡張することで,アンサンブル学習を積み重ねるための新しい手法SELDAを提案する。
Age-Related Eye Disease Study (AREDS)ベンチマーク眼科データセットを用いた実験結果から,提案モデルの有効性が示された。
論文 参考訳(メタデータ) (2022-09-27T14:19:00Z) - A Unified Framework for Generalized Low-Shot Medical Image Segmentation
with Scarce Data [24.12765716392381]
距離距離距離距離学習(DML)に基づく医用画像分割の一般化のための統一的枠組みを提案する。
DMLでは,各カテゴリの多モード混合表現を学習し,画素の深層埋め込みとカテゴリ表現との間の余弦距離に基づいて密接な予測を行う。
脳MRIおよび腹部CTデータセットの実験において,提案手法は標準DNN(3D U-Net)法と古典的登録(ANT)法に対して,低ショットセグメンテーションにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2021-10-18T13:01:06Z) - Learning Multi-Modal Volumetric Prostate Registration with Weak
Inter-Subject Spatial Correspondence [2.6894568533991543]
MRシークエンスにおける前立腺の位置に関する事前情報のための補助入力をニューラルネットワークに導入する。
MR-TRUS前立腺データのラベルが弱いことから,最先端のディープラーニング手法に匹敵する登録品質を示した。
論文 参考訳(メタデータ) (2021-02-09T16:48:59Z) - G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for
Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。
2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文 参考訳(メタデータ) (2021-01-27T19:28:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。