論文の概要: Additional Positive Enables Better Representation Learning for Medical Images

• arxiv url: http://arxiv.org/abs/2306.00112v1
• Date: Wed, 31 May 2023 18:37:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 19:59:34.499365
• Title: Additional Positive Enables Better Representation Learning for Medical Images
• Title（参考訳）: 医用画像の表現学習を改良するadder positive
• Authors: Dewen Zeng, Yawen Wu, Xinrong Hu, Xiaowei Xu, Jingtong Hu, Yiyu Shi
• Abstract要約: 本稿では,SOTA(State-of-the-art)自己教師型学習フレームワークであるBYOLに対して,新たな肯定的なペアを特定する方法を提案する。 各画像に対して、他の画像から最も類似したサンプルを付加陽性として選択し、BYOL損失とともに特徴を引き出す。 2つの公開医療データセットの実験結果から,提案手法が分類性能を向上させることを示す。
• 参考スコア（独自算出の注目度）: 17.787804928943057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a new way to identify additional positive pairs for BYOL, a state-of-the-art (SOTA) self-supervised learning framework, to improve its representation learning ability. Unlike conventional BYOL which relies on only one positive pair generated by two augmented views of the same image, we argue that information from different images with the same label can bring more diversity and variations to the target features, thus benefiting representation learning. To identify such pairs without any label, we investigate TracIn, an instance-based and computationally efficient influence function, for BYOL training. Specifically, TracIn is a gradient-based method that reveals the impact of a training sample on a test sample in supervised learning. We extend it to the self-supervised learning setting and propose an efficient batch-wise per-sample gradient computation method to estimate the pairwise TracIn to represent the similarity of samples in the mini-batch during training. For each image, we select the most similar sample from other images as the additional positive and pull their features together with BYOL loss. Experimental results on two public medical datasets (i.e., ISIC 2019 and ChestX-ray) demonstrate that the proposed method can improve the classification performance compared to other competitive baselines in both semi-supervised and transfer learning settings.
• Abstract（参考訳）: 本稿では,最先端(SOTA)自己教師型学習フレームワークであるBYOLの新たな肯定的ペアを同定し,表現学習能力を向上させる方法を提案する。 同じ画像の2つの拡張ビューによって生成される1つの正のペアのみに依存する従来のBYOLとは異なり、同一ラベルを持つ異なる画像から得られる情報は、目的の特徴に対してより多様性とバリエーションをもたらすため、表現学習の恩恵を受けることができる。 このようなペアをラベルなしで識別するために,インスタンスベースかつ計算効率の良い影響関数であるtracinをbyolトレーニングのために検討する。 具体的には、TracInは、教師あり学習におけるテストサンプルに対するトレーニングサンプルの影響を明らかにする勾配ベースの手法である。 自己教師付き学習環境に拡張し,訓練中のミニバッチにおけるサンプルの類似性を表現するために,ペアワイズトラシンを推定する効率的なバッチワイズ毎サンプル勾配計算法を提案する。 各画像に対して、他の画像から最も類似したサンプルをプラスとして選択し、BYOL損失とともに特徴を引き出す。 2つの公開医療データセット(ISIC 2019とChestX-ray)による実験結果から,半教師付きおよび移動学習環境における他の競争ベースラインと比較して分類性能を向上させることができることが示された。

関連論文リスト

• CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
  本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。 本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。 CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-04-22T11:52:40Z)
• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• ProbMCL: Simple Probabilistic Contrastive Learning for Multi-label Visual Classification [16.415582577355536]
  マルチラベル画像分類は、コンピュータビジョンや医用画像など、多くの領域において難しい課題である。 最近の進歩は、グラフベースとトランスフォーマーベースのメソッドを導入し、パフォーマンスを改善し、ラベルの依存関係をキャプチャしている。 本稿では,これらの課題に対処する新しいフレームワークである確率的多ラベルコントラスト学習(ProbMCL)を提案する。
  論文  参考訳（メタデータ） (2024-01-02T22:15:20Z)
• Improving GAN Training via Feature Space Shrinkage [69.98365478398593]
  本稿では,識別器の画像表現空間におけるトレーニングデータの領域を縮小するAdaptiveMixを提案する。 直接有界な特徴空間を考慮し, ハードサンプルを構築し, ハードサンプルと簡単なサンプル間の特徴距離を狭めることを提案する。 評価結果から,我々のAdaptiveMixはGANの訓練を容易にし,生成したサンプルの画像品質を効果的に向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-03-02T20:22:24Z)
• Mix-up Self-Supervised Learning for Contrast-agnostic Applications [33.807005669824136]
  コントラストに依存しないアプリケーションのための,最初の混合型自己教師型学習フレームワークを提案する。 クロスドメイン・ミックスアップに基づく画像間の低分散に対処し、画像再構成と透明性予測に基づくプレテキストタスクを構築する。
  論文  参考訳（メタデータ） (2022-04-02T16:58:36Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Beyond Single Instance Multi-view Unsupervised Representation Learning [21.449132256091662]
  ランダムにサンプリングされた2つのインスタンス間の結合類似度を測定することにより、より正確なインスタンス識別能力を付与する。 符号化された特徴が潜伏した空間でより均等に分散される場合,共同学習の類似性によって性能が向上すると考えている。
  論文  参考訳（メタデータ） (2020-11-26T15:43:27Z)
• Self-supervised Co-training for Video Representation Learning [103.69904379356413]
  実例に基づく情報ノイズコントラスト推定訓練に意味クラス正の付加を施すことの利点について検討する。 本稿では,インフォネッションNCEの損失を改善するための,自己指導型協調学習手法を提案する。 本研究では,2つの下流タスク(行動認識とビデオ検索)における学習表現の質を評価する。
  論文  参考訳（メタデータ） (2020-10-19T17:59:01Z)
• CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances [77.28192419848901]
  コントラストシフトインスタンス (CSI) という,単純かつ効果的な手法を提案する。 従来のコントラスト学習法のように,サンプルを他の例と対比することに加えて,本トレーニング手法では,サンプルを分散シフトによる拡張と対比する。 本実験は, 種々の新規検出シナリオにおける本手法の優位性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T08:32:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。