論文の概要: Contrastive Learning Meets Transfer Learning: A Case Study In Medical
Image Analysis
- arxiv url: http://arxiv.org/abs/2103.03166v1
- Date: Thu, 4 Mar 2021 17:19:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-05 14:55:36.502068
- Title: Contrastive Learning Meets Transfer Learning: A Case Study In Medical
Image Analysis
- Title(参考訳): コントラスト学習とトランスファー学習--医用画像解析を事例として
- Authors: Yuzhe Lu, Aadarsh Jha, and Yuankai Huo
- Abstract要約: 注釈付き医療画像は、ドメインの知識とプライバシーの制約によって制限されるため、ラベル付き自然画像よりも稀である。
転校とコントラスト学習の最近の進歩は、異なる視点からこれらの問題に取り組む効果的な解決策を提供してきた。
遅い収束速度が現代のコントラスト学習アプローチの重要な制限であることを考えると、トランスファー学習によるコントラスト学習を加速させるのは魅力的です。
- 参考スコア(独自算出の注目度): 2.4050073971195003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Annotated medical images are typically rarer than labeled natural images
since they are limited by domain knowledge and privacy constraints. Recent
advances in transfer and contrastive learning have provided effective solutions
to tackle such issues from different perspectives. The state-of-the-art
transfer learning (e.g., Big Transfer (BiT)) and contrastive learning (e.g.,
Simple Siamese Contrastive Learning (SimSiam)) approaches have been
investigated independently, without considering the complementary nature of
such techniques. It would be appealing to accelerate contrastive learning with
transfer learning, given that slow convergence speed is a critical limitation
of modern contrastive learning approaches. In this paper, we investigate the
feasibility of aligning BiT with SimSiam. From empirical analyses, different
normalization techniques (Group Norm in BiT vs. Batch Norm in SimSiam) are the
key hurdle of adapting BiT to SimSiam. When combining BiT with SimSiam, we
evaluated the performance of using BiT, SimSiam, and BiT+SimSiam on CIFAR-10
and HAM10000 datasets. The results suggest that the BiT models accelerate the
convergence speed of SimSiam. When used together, the model gives superior
performance over both of its counterparts. We hope this study will motivate
researchers to revisit the task of aggregating big pre-trained models with
contrastive learning models for image analysis.
- Abstract(参考訳): 注釈付き医療画像は、ドメインの知識とプライバシーの制約によって制限されるため、ラベル付き自然画像よりも稀である。
転校とコントラスト学習の最近の進歩は、異なる視点からこれらの問題に取り組む効果的な解決策を提供してきた。
最先端の伝達学習(Big Transfer(BiT)など)とコントラスト学習(Simple Siamese Contrastive Learning(SimSiam)など)のアプローチは、その補完的な性質を考慮せずに、独立して検討されている。
遅い収束速度が現代のコントラスト学習アプローチの重要な制限であることを考えると、トランスファー学習によるコントラスト学習を加速させるのは魅力的です。
本稿では, BiT と SimSiam の整合性について検討する。
経験的分析から、BiTをSimSiamに適応させる上では、異なる正規化技術(SimSiamのBatch Norm対Batch Norm)が鍵となる。
CIFAR-10およびHAM10000データセット上でBiT,SimSiam,BiT+SimSiamを用いてBiTとSimSiamを組み合わせた場合の性能評価を行った。
その結果, BiTモデルがSimSiamの収束速度を加速することが示唆された。
一緒に使用すると、どちらのモデルよりも優れた性能を発揮します。
この研究は、画像解析のためのコントラスト学習モデルで、大きな学習済みモデルを集約するタスクを再検討する研究者を動機付けることを願っています。
関連論文リスト
- The Common Stability Mechanism behind most Self-Supervised Learning
Approaches [64.40701218561921]
自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。
我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。
私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
論文 参考訳(メタデータ) (2024-02-22T20:36:24Z) - Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based
Image Retrieval [69.46139774646308]
本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。
目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。
ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
論文 参考訳(メタデータ) (2023-12-16T04:50:34Z) - Graph-Aware Contrasting for Multivariate Time-Series Classification [50.84488941336865]
既存のコントラスト学習手法は主に、時間的拡張とコントラスト技術による時間的一貫性を達成することに焦点を当てている。
MTSデータ間の空間的整合性を考慮したグラフ認識コントラストを提案する。
提案手法は,様々なMSS分類タスクにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-09-11T02:35:22Z) - Hallucination Improves the Performance of Unsupervised Visual
Representation Learning [9.504503675097137]
本研究では,さらにコントラストを増すために,効率よく追加の正のサンプルを生成できるHalucinatorを提案する。
Hallucinatorは識別可能で、機能領域で新しいデータを生成する。
顕著なことに,提案した幻覚器が様々な対照的な学習モデルによく当てはまることを実証的に証明する。
論文 参考訳(メタデータ) (2023-07-22T21:15:56Z) - STS-CCL: Spatial-Temporal Synchronous Contextual Contrastive Learning
for Urban Traffic Forecasting [4.947443433688782]
本研究は、高度なコントラスト学習を採用し、新しい時空間コントラスト学習(STS-CCL)モデルを提案する。
STS-CCLコントラスト学習モデルに基づく予測器の構築は,既存のトラフィック予測ベンチマークよりも優れた性能を発揮することを示す実験と評価を行った。
論文 参考訳(メタデータ) (2023-07-05T03:47:28Z) - Semantically Contrastive Learning for Low-light Image Enhancement [48.71522073014808]
低照度画像強調(LLE)は、単一のRGB画像の低コントラストと低可視性の問題が好ましくないため、依然として困難である。
LLE(SCL-LLE)のための効果的な意味論的コントラスト学習パラダイムを提案する。
提案手法は6つの独立したクロスシーンデータセット上で,最先端のLLEモデルを上回る。
論文 参考訳(メタデータ) (2021-12-13T07:08:33Z) - BEVT: BERT Pretraining of Video Transformers [89.08460834954161]
本稿では,映像表現学習を空間表現学習と時間ダイナミクス学習に分離するBEVTを紹介する。
我々は、BEVTが非常に有望な結果を得る3つの挑戦的なビデオベンチマークについて広範な実験を行った。
論文 参考訳(メタデータ) (2021-12-02T18:59:59Z) - Task2Sim : Towards Effective Pre-training and Transfer from Synthetic
Data [74.66568380558172]
本稿では,グラフィックスシミュレータから下流タスクへの合成データに基づく事前学習モデルの転送可能性について検討する。
本稿では、最適なシミュレーションパラメータに対する下流タスク表現を統一したモデルマッピングであるTask2Simを紹介する。
このマッピングはトレーニングによって学習し、"見える"タスクのセットで最適なパラメータのセットを見つける。
トレーニングが完了すると、ワンショットで新しい"見えない"タスクの最適なシミュレーションパラメータを予測するために使用することができる。
論文 参考訳(メタデータ) (2021-11-30T19:25:27Z) - SimTriplet: Simple Triplet Representation Learning with a Single GPU [4.793871743112708]
病理画像に対する簡易三重項表現学習(SimTriplet)手法を提案する。
79,000個のラベルなしの病理パッチ画像から学習することで、simtripletは教師付き学習に比べて10.58%の優れたパフォーマンスを達成した。
論文 参考訳(メタデータ) (2021-03-09T17:46:09Z) - Beyond Single Instance Multi-view Unsupervised Representation Learning [21.449132256091662]
ランダムにサンプリングされた2つのインスタンス間の結合類似度を測定することにより、より正確なインスタンス識別能力を付与する。
符号化された特徴が潜伏した空間でより均等に分散される場合,共同学習の類似性によって性能が向上すると考えている。
論文 参考訳(メタデータ) (2020-11-26T15:43:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。