論文の概要: Intermediate Layers Matter in Momentum Contrastive Self Supervised Learning

• arxiv url: http://arxiv.org/abs/2110.14805v1
• Date: Wed, 27 Oct 2021 22:40:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-29 13:39:54.520241
• Title: Intermediate Layers Matter in Momentum Contrastive Self Supervised Learning
• Title（参考訳）: モーメントコントラスト型自己監督学習における中間層
• Authors: Aakash Kaku, Sahana Upadhya, Narges Razavian
• Abstract要約: 自己教師付き学習において,画像の2つの拡張版を中間層で表現することで,モーメントコントラスト(MoCo)法の改善が期待できることを示す。 特徴類似性分析とレイヤワイズ探索を用いて,新しい手法を用いて学習したモデルを分析する。
• 参考スコア（独自算出の注目度）: 1.933681537640272
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We show that bringing intermediate layers' representations of two augmented versions of an image closer together in self-supervised learning helps to improve the momentum contrastive (MoCo) method. To this end, in addition to the contrastive loss, we minimize the mean squared error between the intermediate layer representations or make their cross-correlation matrix closer to an identity matrix. Both loss objectives either outperform standard MoCo, or achieve similar performances on three diverse medical imaging datasets: NIH-Chest Xrays, Breast Cancer Histopathology, and Diabetic Retinopathy. The gains of the improved MoCo are especially large in a low-labeled data regime (e.g. 1% labeled data) with an average gain of 5% across three datasets. We analyze the models trained using our novel approach via feature similarity analysis and layer-wise probing. Our analysis reveals that models trained via our approach have higher feature reuse compared to a standard MoCo and learn informative features earlier in the network. Finally, by comparing the output probability distribution of models fine-tuned on small versus large labeled data, we conclude that our proposed method of pre-training leads to lower Kolmogorov-Smirnov distance, as compared to a standard MoCo. This provides additional evidence that our proposed method learns more informative features in the pre-training phase which could be leveraged in a low-labeled data regime.
• Abstract（参考訳）: 自己教師付き学習において,画像の2つの拡張版を中間層で表現することで,モーメントコントラスト(MoCo)法の改善が期待できることを示す。 この目的のために、コントラスト損失に加えて、中間層表現間の平均二乗誤差を最小化し、それらの相互相関行列を等式行列に近づける。 どちらの損失目標も標準のMoCoより優れているか、NIH-Chest Xrays、乳癌組織学、糖尿病網膜症という3つの多様な医療画像データセットで同様のパフォーマンスを達成する。 改良されたMoCoのゲインは、低ラベルのデータレギュレーション(例えば1%ラベル付きデータ)において特に大きく、3つのデータセットの平均ゲインは5%である。 我々は,特徴類似性解析と層間探索により,新しい手法で学習したモデルを解析した。 分析の結果,本手法によりトレーニングしたモデルは,標準的なMoCoに比べて高い機能再利用率を示し,ネットワークの早期に情報的特徴を学習する。 最後に,小・大規模ラベル付きデータに微調整されたモデルの出力確率分布を比較することにより,提案手法が標準MoCoと比較してコルモゴロフ-スミルノフ距離を低くすることを示した。 これにより,提案手法は,低ラベルデータ方式で活用可能な事前学習フェーズにおいて,より情報的な特徴を学習できることを示す。

関連論文リスト

• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Cross-model Mutual Learning for Exemplar-based Medical Image Segmentation [25.874281336821685]
  Exemplar-based Medical Image(CMEMS)のためのクロスモデル相互学習フレームワーク 外来医用画像のためのクロスモデル相互学習フレームワーク(CMEMS)について紹介する。
  論文  参考訳（メタデータ） (2024-04-18T00:18:07Z)
• Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
  マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。 我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
  論文  参考訳（メタデータ） (2023-08-10T08:43:20Z)
• Multi-Scale Cross Contrastive Learning for Semi-Supervised Medical Image Segmentation [14.536384387956527]
  医用画像の構造を分割するマルチスケールクロススーパービジョンコントラスト学習フレームワークを開発した。 提案手法は,頑健な特徴表現を抽出するために,地上構造と横断予測ラベルに基づくマルチスケール特徴と対比する。 Diceでは最先端の半教師あり手法を3.0%以上上回っている。
  論文  参考訳（メタデータ） (2023-06-25T16:55:32Z)
• Rethinking Semi-Supervised Medical Image Segmentation: A Variance-Reduction Perspective [51.70661197256033]
  医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。 まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。 5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
  論文  参考訳（メタデータ） (2023-02-03T13:50:25Z)
• Successive Subspace Learning for Cardiac Disease Classification with Two-phase Deformation Fields from Cine MRI [36.044984400761535]
  本研究は,CVD分類のための軽量な逐次サブスペース学習フレームワークを提案する。 解釈可能なフィードフォワードデザインに基づいており、心房と組み合わせている。 3D CNNベースのアプローチと比較して、我々のフレームワークは140$times$より少ないパラメータで優れた分類性能を実現する。
  論文  参考訳（メタデータ） (2023-01-21T15:00:59Z)
• Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with Extremely Limited Labels [54.58539616385138]
  我々は、Mine yOur owN Anatomy (MONA) と呼ばれる、新しい半教師付き2次元医用画像セグメンテーションフレームワークを紹介する。 まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。 第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
  論文  参考訳（メタデータ） (2022-09-27T15:50:31Z)
• Stacking Ensemble Learning in Deep Domain Adaptation for Ophthalmic Image Classification [61.656149405657246]
  ドメイン適応は、十分なラベルデータを取得することが困難な画像分類タスクに有効である。 本稿では,3つのドメイン適応手法を拡張することで,アンサンブル学習を積み重ねるための新しい手法SELDAを提案する。 Age-Related Eye Disease Study (AREDS)ベンチマーク眼科データセットを用いた実験結果から,提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2022-09-27T14:19:00Z)
• Learning Multi-Modal Volumetric Prostate Registration with Weak Inter-Subject Spatial Correspondence [2.6894568533991543]
  MRシークエンスにおける前立腺の位置に関する事前情報のための補助入力をニューラルネットワークに導入する。 MR-TRUS前立腺データのラベルが弱いことから,最先端のディープラーニング手法に匹敵する登録品質を示した。
  論文  参考訳（メタデータ） (2021-02-09T16:48:59Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。