論文の概要: Contrastive Deep Encoding Enables Uncertainty-aware Machine-learning-assisted Histopathology

• arxiv url: http://arxiv.org/abs/2309.07113v1
• Date: Wed, 13 Sep 2023 17:37:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 13:09:24.546264
• Title: Contrastive Deep Encoding Enables Uncertainty-aware Machine-learning-assisted Histopathology
• Title（参考訳）: コントラストディープエンコーディングは、不確かさを意識した機械学習支援病理学を可能にする
• Authors: Nirhoshan Sivaroopan, Chamuditha Jayanga, Chalani Ekanayake, Hasindri Watawana, Jathurshan Pradeepkumar, Mithunjha Anandakumar, Ranga Rodrigo, Chamira U. S. Edussooriya, and Dushan N. Wadduwage
• Abstract要約: テラバイトのトレーニングデータを意識的に深層ネットワークにプリトレーニングして情報表現を符号化することができる。 提案手法は,ランダムに選択されたアノテーションが1～10%しかないパッチレベルの分類において,最先端のSOTA(State-of-the-art)に到達可能であることを示す。
• 参考スコア（独自算出の注目度）: 6.548275341067594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural network models can learn clinically relevant features from millions of histopathology images. However generating high-quality annotations to train such models for each hospital, each cancer type, and each diagnostic task is prohibitively laborious. On the other hand, terabytes of training data -- while lacking reliable annotations -- are readily available in the public domain in some cases. In this work, we explore how these large datasets can be consciously utilized to pre-train deep networks to encode informative representations. We then fine-tune our pre-trained models on a fraction of annotated training data to perform specific downstream tasks. We show that our approach can reach the state-of-the-art (SOTA) for patch-level classification with only 1-10% randomly selected annotations compared to other SOTA approaches. Moreover, we propose an uncertainty-aware loss function, to quantify the model confidence during inference. Quantified uncertainty helps experts select the best instances to label for further training. Our uncertainty-aware labeling reaches the SOTA with significantly fewer annotations compared to random labeling. Last, we demonstrate how our pre-trained encoders can surpass current SOTA for whole-slide image classification with weak supervision. Our work lays the foundation for data and task-agnostic pre-trained deep networks with quantified uncertainty.
• Abstract（参考訳）: ディープニューラルネットワークモデルは、数百万の病理画像から臨床的に関連する特徴を学習することができる。 しかし, 病院ごと, がんの種類, 診断タスクごとに, 高品質なアノテーションを作成して, それらのモデルを訓練することは違法である。 一方、テラバイト単位のトレーニングデータ -- 信頼できるアノテーションを欠いているが -- がパブリックドメインで簡単に利用できるケースもある。 本研究では,これらの大規模データセットを意識的に深層ネットワークに事前学習して情報表現を符号化する方法について検討する。 そして、アノテートされたトレーニングデータの一部に事前トレーニングされたモデルを微調整して、特定のダウンストリームタスクを実行します。 提案手法は,他のSOTA手法と比較して,ランダムに選択されたアノテーションが1～10%しかないパッチレベルの分類において,最先端のSOTA(State-of-the-art)に到達可能であることを示す。 さらに,推論中のモデルの信頼度を定量化する不確実性認識損失関数を提案する。 量的不確実性は、専門家がさらなるトレーニングのために最高のインスタンスを選択するのに役立つ。 我々の不確実性を認識したラベリングは、ランダムなラベリングに比べてかなり少ないアノテーションでSOTAに到達する。 最後に、我々の事前学習エンコーダが、監督の弱い全スライディング画像分類において、現在のSOTAを超えることができることを示す。 我々の研究は、定量化された不確実性を伴うデータとタスクに依存しない事前訓練されたディープネットワークの基礎を築いた。

関連論文リスト

• Refining Tuberculosis Detection in CXR Imaging: Addressing Bias in Deep Neural Networks via Interpretability [1.9936075659851882]
  実験データから完全な分類精度を得ることができたとしても,深層学習モデルの信頼性は限られていると論じる。 大規模プロキシタスクでディープニューラルネットワークを事前トレーニングし、MOON(Mixed objective Optimization Network)を使用することで、モデルとエキスパート間の決定基盤の整合性を改善することができることを示す。
  論文  参考訳（メタデータ） (2024-07-19T06:41:31Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning [5.2319020651074215]
  ニューラル予測器(DCLP)のためのカリキュラム誘導型コントラスト学習フレームワークを提案する。 本手法は,新たなカリキュラムを設計し,ラベルのないトレーニングデータ分布の安定性を高めることで,対照的なタスクを単純化する。 我々は既存の予測器と比較してDCLPの精度と効率が優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2023-02-25T08:16:21Z)
• Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
  ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。 センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
  論文  参考訳（メタデータ） (2022-12-07T15:32:22Z)
• Exploring Memorization in Adversarial Training [58.38336773082818]
  本稿では, 能力, 収束, 一般化, 特に強靭なオーバーフィッティングの深い理解を促進するための, 対人訓練(AT)における記憶効果について検討する。 本稿では,詳細な記憶分析を動機とした新たな緩和アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-03T05:39:57Z)
• Sample Efficient Learning of Image-Based Diagnostic Classifiers Using Probabilistic Labels [11.377362220429786]
  確率ラベルの学習と利用により、比較的小さなデータセットから正確で校正されたディープネットワークをトレーニングする方法を提案する。 従来の手法と比較して,これらのラベルでトレーニングしたモデルの精度は最大22%向上した。
  論文  参考訳（メタデータ） (2021-02-11T18:13:56Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)
• Self-Training with Improved Regularization for Sample-Efficient Chest X-Ray Classification [80.00316465793702]
  挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。 その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
  論文  参考訳（メタデータ） (2020-05-03T02:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。