論文の概要: Contrastive Learning Meets Transfer Learning: A Case Study In Medical Image Analysis

• arxiv url: http://arxiv.org/abs/2103.03166v1
• Date: Thu, 4 Mar 2021 17:19:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 14:55:36.502068
• Title: Contrastive Learning Meets Transfer Learning: A Case Study In Medical Image Analysis
• Title（参考訳）: コントラスト学習とトランスファー学習--医用画像解析を事例として
• Authors: Yuzhe Lu, Aadarsh Jha, and Yuankai Huo
• Abstract要約: 注釈付き医療画像は、ドメインの知識とプライバシーの制約によって制限されるため、ラベル付き自然画像よりも稀である。 転校とコントラスト学習の最近の進歩は、異なる視点からこれらの問題に取り組む効果的な解決策を提供してきた。 遅い収束速度が現代のコントラスト学習アプローチの重要な制限であることを考えると、トランスファー学習によるコントラスト学習を加速させるのは魅力的です。
• 参考スコア（独自算出の注目度）: 2.4050073971195003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Annotated medical images are typically rarer than labeled natural images since they are limited by domain knowledge and privacy constraints. Recent advances in transfer and contrastive learning have provided effective solutions to tackle such issues from different perspectives. The state-of-the-art transfer learning (e.g., Big Transfer (BiT)) and contrastive learning (e.g., Simple Siamese Contrastive Learning (SimSiam)) approaches have been investigated independently, without considering the complementary nature of such techniques. It would be appealing to accelerate contrastive learning with transfer learning, given that slow convergence speed is a critical limitation of modern contrastive learning approaches. In this paper, we investigate the feasibility of aligning BiT with SimSiam. From empirical analyses, different normalization techniques (Group Norm in BiT vs. Batch Norm in SimSiam) are the key hurdle of adapting BiT to SimSiam. When combining BiT with SimSiam, we evaluated the performance of using BiT, SimSiam, and BiT+SimSiam on CIFAR-10 and HAM10000 datasets. The results suggest that the BiT models accelerate the convergence speed of SimSiam. When used together, the model gives superior performance over both of its counterparts. We hope this study will motivate researchers to revisit the task of aggregating big pre-trained models with contrastive learning models for image analysis.
• Abstract（参考訳）: 注釈付き医療画像は、ドメインの知識とプライバシーの制約によって制限されるため、ラベル付き自然画像よりも稀である。 転校とコントラスト学習の最近の進歩は、異なる視点からこれらの問題に取り組む効果的な解決策を提供してきた。 最先端の伝達学習(Big Transfer(BiT)など)とコントラスト学習(Simple Siamese Contrastive Learning(SimSiam)など)のアプローチは、その補完的な性質を考慮せずに、独立して検討されている。 遅い収束速度が現代のコントラスト学習アプローチの重要な制限であることを考えると、トランスファー学習によるコントラスト学習を加速させるのは魅力的です。 本稿では, BiT と SimSiam の整合性について検討する。 経験的分析から、BiTをSimSiamに適応させる上では、異なる正規化技術(SimSiamのBatch Norm対Batch Norm)が鍵となる。 CIFAR-10およびHAM10000データセット上でBiT,SimSiam,BiT+SimSiamを用いてBiTとSimSiamを組み合わせた場合の性能評価を行った。 その結果, BiTモデルがSimSiamの収束速度を加速することが示唆された。 一緒に使用すると、どちらのモデルよりも優れた性能を発揮します。 この研究は、画像解析のためのコントラスト学習モデルで、大きな学習済みモデルを集約するタスクを再検討する研究者を動機付けることを願っています。

関連論文リスト

• Robust image representations with counterfactual contrastive learning [17.273155534515393]
  因果画像合成の最近の進歩を生かした新しいフレームワークである反ファクト・コントラスト学習を導入する。 提案手法は,5つのデータセットで評価され,獲得シフトに対するロバスト性の観点から,標準的なコントラスト学習よりも優れていた。 さらなる実験により、提案フレームワークは買収シフトを超えて拡張され、反実的コントラスト学習で訓練されたモデルは、生物学的セックスにおけるサブグループパフォーマンスを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-09-16T15:11:00Z)
• SimMAT: Exploring Transferability from Vision Foundation Models to Any Image Modality [136.82569085134554]
  大量のデータを訓練するChatGPTやSoraのような基礎的なモデルは、革命的な社会的影響をもたらしている。 様々な分野のセンサーが、同じ規模の自然画像を集め、強力な基礎モデルを訓練することは極めて困難である。 この研究は、自然のRGB画像に基づいて訓練された視覚基盤モデルから、異なる物理特性の他の画像モダリティへの転送可能性という、オープンな問題を研究するための、シンプルで効果的なフレームワークであるSimMATを提示する。
  論文  参考訳（メタデータ） (2024-09-12T14:38:21Z)
• Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
  ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。 合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。 提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
  論文  参考訳（メタデータ） (2024-03-28T22:25:05Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based Image Retrieval [69.46139774646308]
  本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。 目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。 ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
  論文  参考訳（メタデータ） (2023-12-16T04:50:34Z)
• Graph-Aware Contrasting for Multivariate Time-Series Classification [50.84488941336865]
  既存のコントラスト学習手法は主に、時間的拡張とコントラスト技術による時間的一貫性を達成することに焦点を当てている。 MTSデータ間の空間的整合性を考慮したグラフ認識コントラストを提案する。 提案手法は,様々なMSS分類タスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-09-11T02:35:22Z)
• Hallucination Improves the Performance of Unsupervised Visual Representation Learning [9.504503675097137]
  本研究では,さらにコントラストを増すために,効率よく追加の正のサンプルを生成できるHalucinatorを提案する。 Hallucinatorは識別可能で、機能領域で新しいデータを生成する。 顕著なことに,提案した幻覚器が様々な対照的な学習モデルによく当てはまることを実証的に証明する。
  論文  参考訳（メタデータ） (2023-07-22T21:15:56Z)
• Semantically Contrastive Learning for Low-light Image Enhancement [48.71522073014808]
  低照度画像強調(LLE)は、単一のRGB画像の低コントラストと低可視性の問題が好ましくないため、依然として困難である。 LLE(SCL-LLE)のための効果的な意味論的コントラスト学習パラダイムを提案する。 提案手法は6つの独立したクロスシーンデータセット上で,最先端のLLEモデルを上回る。
  論文  参考訳（メタデータ） (2021-12-13T07:08:33Z)
• SimTriplet: Simple Triplet Representation Learning with a Single GPU [4.793871743112708]
  病理画像に対する簡易三重項表現学習(SimTriplet)手法を提案する。 79,000個のラベルなしの病理パッチ画像から学習することで、simtripletは教師付き学習に比べて10.58%の優れたパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2021-03-09T17:46:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。