論文の概要: Effect of large-scale pre-training on full and few-shot transfer
learning for natural and medical images
- arxiv url: http://arxiv.org/abs/2106.00116v1
- Date: Mon, 31 May 2021 21:55:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-03 05:04:11.509891
- Title: Effect of large-scale pre-training on full and few-shot transfer
learning for natural and medical images
- Title（参考訳）: 大規模プレトレーニングが自然・医療画像のフルショット・トランスファー学習に及ぼす影響
- Authors: Mehdi Cherti and Jenia Jitsev
- Abstract要約: 我々は,自然(ImageNet-21k/1k)と医用胸部X線画像のいずれにおいても,大規模な事前トレーニングを行う。
自然画像領域と医用画像領域の両方の異なるターゲットデータセットを用いて、フルショットと少数ショットの転送を比較した。
我々の観察は、近縁なデータセットの事前トレーニングと転送は、事前トレーニング中にモデルとデータサイズが増加するという明らかな利点を示すが、ソースとターゲットデータセットがさらに離れている場合、そのような利点は明らかでないことを示す。
- 参考スコア（独自算出の注目度）: 2.030567625639093
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transfer learning aims to exploit pre-trained models for more efficient
follow-up training on wide range of downstream tasks and datasets, enabling
successful training also on small data. Recent line of work posits strong
benefits for model generalization and transfer when model size, data size, and
compute budget are increased for the pre-training. It remains however still
largely unclear whether the observed transfer improvement due to increase in
scale also holds when source and target data distributions are far apart from
each other. In this work we conduct large-scale pre-training on large source
datasets of either natural (ImageNet-21k/1k) or medical chest X-Ray images and
compare full and few-shot transfer using different target datasets from both
natural and medical imaging domains. Our observations provide evidence that
while pre-training and transfer on closely related datasets do show clear
benefit of increasing model and data size during pre-training, such benefits
are not clearly visible when source and target datasets are further apart.
These observations hold across both full and few-shot transfer and indicate
that scaling laws hinting improvement of generalization and transfer with
increasing model and data size are incomplete and should also take into account
the degree of how distinct the source and target data distributions are, to
correctly predict effect of model size and data size variation during
pre-training on transfer. (Repository for reproducing the experiments will be
made available.)
- Abstract（参考訳）: Transfer Learningは、トレーニング済みのモデルを活用して、さまざまなダウンストリームタスクやデータセットのより効率的なフォローアップトレーニングを実現することを目的としている。
最近の作業は、事前トレーニングのためにモデルサイズ、データサイズ、計算予算が増加すると、モデルの一般化と転送に強い利益をもたらす。
しかし、ソースとターゲットのデータ分散が互いに遠く離れている場合、スケールの増加によって観測された転送改善が持つかどうかは、いまだによく分かっていない。
本研究では,自然画像(ImageNet-21k/1k)または医用胸部X線画像の大規模ソースデータセットに対して大規模な事前トレーニングを行い,自然画像領域と医用画像領域の異なるターゲットデータセットを用いて,フルおよび少数ショット転送を比較する。
我々の観察は、関連するデータセットの事前トレーニングと転送は、事前トレーニング中にモデルとデータサイズが増加するという明確な利点を示すが、ソースとターゲットのデータセットがさらに離れている場合、そのような利点は明らかでないことを示す。
これらの観察は、フルショット転送と少数ショット転送の両方にわたって保持され、モデルとデータサイズの増加による一般化と転送の改善を示唆するスケーリング法則が不完全であり、また、転送前トレーニングにおけるモデルサイズとデータサイズの変化の影響を正確に予測するために、ソースとターゲットデータの分布がどの程度異なるかについても考慮する必要がある。
(実験を再現するためのレポジトリが利用可能となる。)
関連論文リスト
- Enhancing pretraining efficiency for medical image segmentation via transferability metrics [0.0]
医用画像のセグメンテーションタスクでは、ラベル付きトレーニングデータの不足が大きな課題となっている。
本稿では,事前学習したモデルが対象データをいかに頑健に表現できるかを計測する,対照的な学習に基づく新しい伝達可能性指標を提案する。
論文 参考訳（メタデータ） (2024-10-24T12:11:52Z) - Rethinking Transformers Pre-training for Multi-Spectral Satellite
Imagery [78.43828998065071]
教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。
このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。
本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
論文 参考訳（メタデータ） (2024-03-08T16:18:04Z) - MoCo-Transfer: Investigating out-of-distribution contrastive learning
for limited-data domains [52.612507614610244]
我々は、モーメントコントラスト(MoCo)プレトレーニングからデータ制限のある設定への自己教師付きコントラスト表現の転送の利点を分析する。
ラベル付きおよびラベルなしデータの量によっては、より大きなアウト・オブ・ディストリビューションデータセットでの対照的な事前トレーニングは、ドメイン内でのMoCoの事前トレーニングよりも、ほぼ同等か、あるいはそれ以上のパフォーマンスが期待できる。
論文 参考訳（メタデータ） (2023-11-15T21:56:47Z) - Transfer learning from a sparsely annotated dataset of 3D medical images [4.477071833136902]
本研究では,医療画像における臓器分割のための深部畳み込みニューラルネットワークの性能向上のための伝達学習の活用について検討する。
ベースセグメンテーションモデルは、大小の注釈付きデータセットに基づいてトレーニングされ、その重みは4つの新しい下流セグメンテーションタスクのトランスファー学習に使用された。
その結果,小規模なデータセットが利用可能になった場合には,ベースモデルからの移動学習が有用であることが示唆された。
論文 参考訳（メタデータ） (2023-11-08T21:31:02Z) - On the Connection between Pre-training Data Diversity and Fine-tuning
Robustness [66.30369048726145]
下流の有効ロバスト性に影響を与える主な要因はデータ量である。
各種自然および合成データソースから抽出した事前学習分布について,本研究の成果を示す。
論文 参考訳（メタデータ） (2023-07-24T05:36:19Z) - The Role of Pre-training Data in Transfer Learning [20.768366728182997]
プレトレーニングデータ分布が複数ショットおよびフル微調整性能に与える影響について検討する。
プレトレーニングされたデータソースの選択は、数ショットの転送には不可欠であることがわかったが、その役割は微調整のためにより多くのデータが利用可能になるにつれて減少する。
論文 参考訳（メタデータ） (2023-02-27T09:10:08Z) - How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。
本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。
スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文 参考訳（メタデータ） (2021-11-26T11:58:51Z) - Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。
本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。
HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
論文 参考訳（メタデータ） (2021-03-23T17:37:51Z) - Scaling Laws for Transfer [0.5432984841650929]
本研究では,教師なし微調整環境における分布間の移動学習のスケーリング法則について検討する。
提案手法は,パラメータ数と微調整データセットサイズに比例したパワーロー則を用いて,データ転送の効率をよく記述する。
論文 参考訳（メタデータ） (2021-02-02T04:07:38Z) - Adversarially-Trained Deep Nets Transfer Better: Illustration on Image
Classification [53.735029033681435]
トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。
本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
論文 参考訳（メタデータ） (2020-07-11T22:48:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。