Fugu-MT 論文翻訳(概要): Improving Self-supervised Learning with Hardness-aware Dynamic Curriculum Learning: An Application to Digital Pathology

論文の概要: Improving Self-supervised Learning with Hardness-aware Dynamic Curriculum Learning: An Application to Digital Pathology

arxiv url: http://arxiv.org/abs/2108.07183v1
Date: Mon, 16 Aug 2021 15:44:48 GMT
ステータス: 処理完了
システム内更新日: 2021-08-17 15:21:53.365113
Title: Improving Self-supervised Learning with Hardness-aware Dynamic Curriculum Learning: An Application to Digital Pathology
Title（参考訳）: ハードネスを考慮した動的カリキュラム学習による自己指導型学習の改善 : デジタル病理学への応用
Authors: Chetan L Srinidhi, Anne L Martel
Abstract要約: 自己教師付き学習(SSL)は、最近、多くの画像解析タスクに有用な汎用的な視覚表現を学習する大きな可能性を示している。既存のSSLメソッドは、ラベル付きトレーニングインスタンスの数が少ない場合や、転送ドメイン間のドメインシフトが重要である場合、ダウンストリームタスクに一般化できない。本稿では,カリキュラム学習のレンズを用いて,自己指導型事前学習表現の改善を試みる。
参考スコア（独自算出の注目度）: 2.2742357407157847
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-supervised learning (SSL) has recently shown tremendous potential to learn generic visual representations useful for many image analysis tasks. Despite their notable success, the existing SSL methods fail to generalize to downstream tasks when the number of labeled training instances is small or if the domain shift between the transfer domains is significant. In this paper, we attempt to improve self-supervised pretrained representations through the lens of curriculum learning by proposing a hardness-aware dynamic curriculum learning (HaDCL) approach. To improve the robustness and generalizability of SSL, we dynamically leverage progressive harder examples via easy-to-hard and hard-to-very-hard samples during mini-batch downstream fine-tuning. We discover that by progressive stage-wise curriculum learning, the pretrained representations are significantly enhanced and adaptable to both in-domain and out-of-domain distribution data. We performed extensive validation on three histology benchmark datasets on both patch-wise and slide-level classification problems. Our curriculum based fine-tuning yields a significant improvement over standard fine-tuning, with a minimum improvement in area-under-the-curve (AUC) score of 1.7% and 2.2% on in-domain and out-of-domain distribution data, respectively. Further, we empirically show that our approach is more generic and adaptable to any SSL methods and does not impose any additional overhead complexity. Besides, we also outline the role of patch-based versus slide-based curriculum learning in histopathology to provide practical insights into the success of curriculum based fine-tuning of SSL methods. Code will be released at https://github.com/srinidhiPY/ICCVCDPATH2021-ID-8
Abstract（参考訳）: 自己教師付き学習(SSL)は近年,多くの画像解析タスクに有用な汎用的な視覚表現を学習する大きな可能性を示している。その顕著な成功にもかかわらず、既存のSSLメソッドは、ラベル付きトレーニングインスタンスの数が少ない場合や、転送ドメイン間のドメインシフトが重要である場合、ダウンストリームタスクに一般化できない。本稿では,hadcl(hardness-aware dynamic curriculum learning)アプローチを提案し,カリキュラム学習のレンズを通して,自己教師付き事前学習表現の改善を試みる。 SSLの堅牢性と一般化性を改善するために,ミニバッチダウンストリームの微調整において,簡単かつ非常に難しいサンプルを動的に活用する。段階的なカリキュラム学習によって,事前学習された表現は,ドメイン内およびドメイン外の両方の分散データに対して著しく強化され,適応可能であることが判明した。パッチワイドおよびスライドレベルの分類問題に対して,3つのヒストロジーベンチマークデータセットに対して広範な検証を行った。カリキュラムに基づく微調整は,auc(area-under-the-curve)スコアが1.7%,領域外分布データが2.2%と,標準的な微調整よりも大幅に改善した。さらに、我々のアプローチはSSLメソッドに対してより汎用的で適応可能であり、追加のオーバーヘッド複雑性を課さないことを実証的に示しています。また,組織学におけるパッチベースとスライドベースのカリキュラム学習の役割を概説し,カリキュラムベースのSSLメソッドの微調整の成功に関する実践的な知見を提供する。コードはhttps://github.com/srinidhiPY/ICCVCDPATH2021-ID-8でリリースされる。

関連論文リスト

A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
論文参考訳（メタデータ） (2024-07-16T23:17:36Z)
Self-supervised visual learning in the low-data regime: a comparative evaluation [40.27083924454058]
自己監視学習(SSL)は、現代のディープニューラルネットワーク(DNN)のための堅牢なトレーニング手法であるこの研究は、現代のビジュアルSSLメソッドの分類を導入し、アプローチの主要なカテゴリに関する詳細な説明と洞察を添えた。ドメイン固有のダウンストリームタスクでは、ドメイン内のローデータSSLプリトレーニングが大規模な事前トレーニングの一般的なアプローチより優れています。
論文参考訳（メタデータ） (2024-04-26T07:23:14Z)
SLCA: Slow Learner with Classifier Alignment for Continual Learning on a Pre-trained Model [73.80068155830708]
予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。 Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
論文参考訳（メタデータ） (2023-03-09T08:57:01Z)
Benchmarking Self-Supervised Learning on Diverse Pathology Datasets [10.868779327544688]
自己教師付き学習は、ラベルのないデータを活用する効果的な方法であることが示されている。我々は、病理画像データに基づいてSSL事前トレーニングを行う最大規模の研究を行う。核インスタンスセグメンテーションの課題に対してSSLを初めて適用する。
論文参考訳（メタデータ） (2022-12-09T06:38:34Z)
FUSSL: Fuzzy Uncertain Self Supervised Learning [8.31483061185317]
自己教師付き学習(SSL)は、アノテーションを使わずにラベルなしデータのパワーを活用するための、非常に成功した技術になっています。本稿では,単一スーパーバイザ信号の使用によるSSLの基本的限界を初めて認識する。 SSLベースラインに対して,堅牢で汎用的な階層型学習/学習プロトコルを提案する。
論文参考訳（メタデータ） (2022-10-28T01:06:10Z)
Dive into Self-Supervised Learning for Medical Image Analysis: Data, Models and Tasks [8.720079280914169]
自己教師付き学習は、様々な医療画像のタスクにおいて、大量の未ラベルデータから先行情報を減らすことによって、顕著なパフォーマンスを達成している。 SSLのキャパシティを、4つの現実的で重要な問題の観点から活用することに重点を置いています。我々は,予測的,コントラスト的,生成的,マルチSSLアルゴリズムに関する広範な実験を通じて,大規模で詳細な研究を行う。
論文参考訳（メタデータ） (2022-09-25T06:04:11Z)
Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
論文参考訳（メタデータ） (2022-07-22T06:30:44Z)
DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
論文参考訳（メタデータ） (2022-03-17T02:38:49Z)
Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
データセット不均衡下での自己教師型学習について検討する。既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
論文参考訳（メタデータ） (2021-10-11T06:29:56Z)
A Realistic Evaluation of Semi-Supervised Learning for Fine-Grained Classification [38.68079253627819]
本ベンチマークは, avesおよびfungi分類のクラスをサンプリングして得られた2つの細粒度分類データセットからなる。最近提案されたSSLメソッドは大きなメリットをもたらし、深いネットワークがゼロから訓練されたときにクラス外のデータを効果的にパフォーマンスを向上させることができます。我々の研究は、現実的データセットの専門家による半教師付き学習は、現在文学で普及しているものとは異なる戦略を必要とする可能性があることを示唆している。
論文参考訳（メタデータ） (2021-04-01T17:59:41Z)
On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
論文参考訳（メタデータ） (2021-01-18T10:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。