論文の概要: MoCo-Transfer: Investigating out-of-distribution contrastive learning
for limited-data domains
- arxiv url: http://arxiv.org/abs/2311.09401v1
- Date: Wed, 15 Nov 2023 21:56:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 17:28:53.656741
- Title: MoCo-Transfer: Investigating out-of-distribution contrastive learning
for limited-data domains
- Title（参考訳）: MoCo-Transfer: 限定データ領域における分布外コントラスト学習の検討
- Authors: Yuwen Chen, Helen Zhou, Zachary C. Lipton
- Abstract要約: 我々は、モーメントコントラスト(MoCo)プレトレーニングからデータ制限のある設定への自己教師付きコントラスト表現の転送の利点を分析する。
ラベル付きおよびラベルなしデータの量によっては、より大きなアウト・オブ・ディストリビューションデータセットでの対照的な事前トレーニングは、ドメイン内でのMoCoの事前トレーニングよりも、ほぼ同等か、あるいはそれ以上のパフォーマンスが期待できる。
- 参考スコア（独自算出の注目度）: 52.612507614610244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Medical imaging data is often siloed within hospitals, limiting the amount of
data available for specialized model development. With limited in-domain data,
one might hope to leverage larger datasets from related domains. In this paper,
we analyze the benefit of transferring self-supervised contrastive
representations from moment contrast (MoCo) pretraining on out-of-distribution
data to settings with limited data. We consider two X-ray datasets which image
different parts of the body, and compare transferring from each other to
transferring from ImageNet. We find that depending on quantity of labeled and
unlabeled data, contrastive pretraining on larger out-of-distribution datasets
can perform nearly as well or better than MoCo pretraining in-domain, and
pretraining on related domains leads to higher performance than if one were to
use the ImageNet pretrained weights. Finally, we provide a preliminary way of
quantifying similarity between datasets.
- Abstract（参考訳）: 医療画像データは、しばしば病院内でサイロ化され、特別なモデル開発に利用可能なデータの量を制限する。
ドメイン内データに制限がある場合、関連するドメインからのより大きなデータセットを活用することが期待できる。
本稿では,モーメントコントラスト(moco)から自己教師ありのコントラスト表現を,限定されたデータを用いて,分散データの事前学習から設定に移すことの利点を分析する。
物体の異なる部分を撮像する2つのx線データセットを検討し,画像ネットからの転送と比較する。
ラベル付きデータとラベルなしデータの量によっては、より大きなアウトオブディストリビューションデータセットのコントラストプリトレーニングは、mocoプリトレーニングのインドメインと同等かそれ以上の性能を発揮することが分かり、関連するドメインのプリトレーニングは、imagenetプリトレーニングウェイトを使用する場合よりも高いパフォーマンスをもたらす。
最後に,データセット間の類似性を定量化する予備的な方法を提案する。
関連論文リスト
- Precision at Scale: Domain-Specific Datasets On-Demand [3.5900418884504095]
Precision at Scale (PaS)は、オンデマンドでドメイン固有のデータセットを自動生成するための新しい方法である。
PaSパイプラインは、最先端の基盤モデルと生成モデルを活用して、任意のドメインに属するイメージのコレクションを作成する。
自動生成されたドメイン固有データセットは、ImageNet-1kやImageNet-21kのような大規模教師付きデータセットよりも、事前トレーニングが優れていることを示す。
論文 参考訳（メタデータ） (2024-07-03T19:17:42Z) - Rethinking Transformers Pre-training for Multi-Spectral Satellite
Imagery [78.43828998065071]
教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。
このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。
本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
論文 参考訳（メタデータ） (2024-03-08T16:18:04Z) - Is in-domain data beneficial in transfer learning for landmarks
detection in x-ray images? [1.5348047288817481]
本研究では,大規模な自然画像データセットのみに事前学習したモデルに対して,小さな領域内X線画像データセットを使用することで,ランドマーク検出の精度が向上するかどうかを検討する。
我々の結果は、ドメイン内ソースデータセットを使用することで、ImageNetのドメイン外事前トレーニングに関して、限界があるか、まったく利益が得られないことを示している。
以上の結果から,大規模なアノテートデータセットが得られない場合の医用画像におけるロバストなランドマーク検出システムの開発が示唆された。
論文 参考訳（メタデータ） (2024-03-03T10:35:00Z) - On the Connection between Pre-training Data Diversity and Fine-tuning
Robustness [66.30369048726145]
下流の有効ロバスト性に影響を与える主な要因はデータ量である。
各種自然および合成データソースから抽出した事前学習分布について,本研究の成果を示す。
論文 参考訳（メタデータ） (2023-07-24T05:36:19Z) - Why does my medical AI look at pictures of birds? Exploring the efficacy
of transfer learning across domain boundaries [3.259272366439713]
ダウンストリームタスクのドメインからのデータに対する事前トレーニングは、ほとんどの場合、ImageNetプリトレーニングされたモデルよりも好まれるべきである。
RadNet-12Mは,1200万以上のCT画像スライスを含むデータセットである。
実験では、ドメイン内およびクロスドメイン転送シナリオ、データスケールの変化、微調整と線形評価、特徴空間解析について検討した。
論文 参考訳（メタデータ） (2023-06-30T11:15:26Z) - Self-Supervised In-Domain Representation Learning for Remote Sensing
Image Scene Classification [1.0152838128195465]
ImageNetのトレーニング済み重量を様々なリモートセンシングタスクに転送すると、許容できる結果が得られる。
近年の研究では、自己教師あり学習手法が、より差別的で伝達しやすい視覚的特徴を捉えていることが示されている。
我々はこれらの事実に動機付けられ、対照的な自己教師付き学習を用いて、リモートセンシング画像のドメイン内表現を事前訓練する。
論文 参考訳（メタデータ） (2023-02-03T15:03:07Z) - Self-Supervised Pre-Training for Transformer-Based Person
Re-Identification [54.55281692768765]
トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する
ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。
この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
論文 参考訳（メタデータ） (2021-11-23T18:59:08Z) - Multi-dataset Pretraining: A Unified Model for Semantic Segmentation [97.61605021985062]
我々は、異なるデータセットの断片化アノテーションを最大限に活用するために、マルチデータセット事前訓練と呼ばれる統合フレームワークを提案する。
これは、複数のデータセットに対して提案されたピクセルからプロトタイプへのコントラスト損失を通じてネットワークを事前トレーニングすることで実現される。
異なるデータセットからの画像とクラス間の関係をより良くモデル化するために、クロスデータセットの混合によりピクセルレベルの埋め込みを拡張する。
論文 参考訳（メタデータ） (2021-06-08T06:13:11Z) - Robust wav2vec 2.0: Analyzing Domain Shift in Self-Supervised
Pre-Training [67.71228426496013]
事前トレーニング中にターゲットドメインデータを使用することで,さまざまなセットアップで大幅なパフォーマンス向上が期待できる。
複数のドメインで事前トレーニングを行うことで、トレーニング中に見られないドメインのパフォーマンスの一般化が向上します。
論文 参考訳（メタデータ） (2021-04-02T12:53:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。