論文の概要: SimTriplet: Simple Triplet Representation Learning with a Single GPU
- arxiv url: http://arxiv.org/abs/2103.05585v1
- Date: Tue, 9 Mar 2021 17:46:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-10 14:53:56.986248
- Title: SimTriplet: Simple Triplet Representation Learning with a Single GPU
- Title(参考訳): SimTriplet:単一のGPUによるシンプルなトリプル表現学習
- Authors: Quan Liu, Peter C. Louis, Yuzhe Lu, Aadarsh Jha, Mengyang Zhao,
Ruining Deng, Tianyuan Yao, Joseph T. Roland, Haichun Yang, Shilin Zhao, Lee
E. Wheless, Yuankai Huo
- Abstract要約: 病理画像に対する簡易三重項表現学習(SimTriplet)手法を提案する。
79,000個のラベルなしの病理パッチ画像から学習することで、simtripletは教師付き学習に比べて10.58%の優れたパフォーマンスを達成した。
- 参考スコア(独自算出の注目度): 4.793871743112708
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning is a key technique of modern self-supervised learning.
The broader accessibility of earlier approaches is hindered by the need of
heavy computational resources (e.g., at least 8 GPUs or 32 TPU cores), which
accommodate for large-scale negative samples or momentum. The more recent
SimSiam approach addresses such key limitations via stop-gradient without
momentum encoders. In medical image analysis, multiple instances can be
achieved from the same patient or tissue. Inspired by these advances, we
propose a simple triplet representation learning (SimTriplet) approach on
pathological images. The contribution of the paper is three-fold: (1) The
proposed SimTriplet method takes advantage of the multi-view nature of medical
images beyond self-augmentation; (2) The method maximizes both intra-sample and
inter-sample similarities via triplets from positive pairs, without using
negative samples; and (3) The recent mix precision training is employed to
advance the training by only using a single GPU with 16GB memory. By learning
from 79,000 unlabeled pathological patch images, SimTriplet achieved 10.58%
better performance compared with supervised learning. It also achieved 2.13%
better performance compared with SimSiam. Our proposed SimTriplet can achieve
decent performance using only 1% labeled data. The code and data are available
at https://github.com/hrlblab/SimTriple.
- Abstract(参考訳): コントラスト学習は近代的な自己監督学習の重要な技法である。
初期のアプローチの幅広いアクセシビリティは、大規模な負のサンプルや運動量に対応する重い計算リソース(例えば、8gpuまたは32tpuコア)の必要性によって妨げられている。
より最近のSimSiamアプローチは、運動量エンコーダを使わずに停止段階の制限に対処する。
医用画像解析では、同じ患者または組織から複数のインスタンスを達成できる。
これらの進歩に触発されて,病理画像に対する単純な三重項表現学習(SimTriplet)アプローチを提案する。
本論文の貢献は,(1)シムトリプレット法は,自己提示以外の医用画像の多視点性を活用すること,(2)負のサンプルを用いることなく,正のペアからのトリプレットによるサンプル内およびサンプル間類似性を最大化すること,(3)最近のmix精度トレーニングを用いて,16gbメモリのシングルgpuのみを用いてトレーニングを進めること,の3つである。
79,000個のラベルなしの病理パッチ画像から学習することで、simtripletは教師付き学習に比べて10.58%の優れたパフォーマンスを達成した。
また、SimSiamに比べて2.13%パフォーマンスが向上した。
提案したSimTripletは,1%のラベル付きデータで十分な性能が得られる。
コードとデータはhttps://github.com/hrlblab/SimTriple.comで入手できる。
関連論文リスト
- SimMatchV2: Semi-Supervised Learning with Graph Consistency [53.31681712576555]
半教師付き学習アルゴリズムSimMatchV2を導入する。
グラフの観点からラベル付きデータとラベルなしデータの間の様々な一貫性の規則化を定式化する。
SimMatchV2は、複数の半教師付き学習ベンチマークで検証されている。
論文 参考訳(メタデータ) (2023-08-13T05:56:36Z) - Joint one-sided synthetic unpaired image translation and segmentation
for colorectal cancer prevention [16.356954231068077]
我々は3D技術と生成対向ネットワークを組み合わせたリアルな合成画像を作成する。
CUT-segは,分割モデルと生成モデルとを共同で訓練し,現実的な画像を生成する共同訓練である。
この研究の一環として、20000のリアルな大腸画像を含む完全に合成されたデータセットであるSynth-Colonをリリースする。
論文 参考訳(メタデータ) (2023-07-20T22:09:04Z) - Is Cross-modal Information Retrieval Possible without Training? [4.616703548353372]
Procrustes問題に対する解の最小二乗と特異値分解(SVD)から計算した単純な写像をとる。
すなわち、テキストのようなあるモダリティの情報が与えられた場合、このマッピングは、画像のような別のモダリティにおける意味的に等価なデータ項目を見つけるのに役立ちます。
既訓練の深層学習モデルを用いて,テキスト・ツー・イメージ検索と画像・トゥ・テキスト検索のタスクにおいて,上記の単純なモーダル・マッピングを実験した。
論文 参考訳(メタデータ) (2023-04-20T02:36:18Z) - Modality-Aware Triplet Hard Mining for Zero-shot Sketch-Based Image
Retrieval [51.42470171051007]
本稿では,ZES-SBIR(Zero-Shot Sketch-Based Image Retrieval)問題に,クロスモダリティメトリック学習の観点から取り組む。
DMLにおける2つの基本的な学習手法、例えば分類訓練とペアトレーニングを組み合わせることで、ZS-SBIRの強力なベースラインを構築した。
モータリティ・アウェア・トリプルト・ハード・マイニング(MATHM)は3種類のペア・ラーニングによってベースラインを向上することを示す。
論文 参考訳(メタデータ) (2021-12-15T08:36:44Z) - QK Iteration: A Self-Supervised Representation Learning Algorithm for
Image Similarity [0.0]
我々は、Facebook AI Researchが主催する2021年の画像類似度チャレンジにおいて、コピー検出の文脈において、新しいコントラッシブな自己教師型表現学習アルゴリズムを提案する。
我々のアルゴリズムは第1相のリーダーボード上で0.3401のマイクロAPスコアを達成し、ベースラインである$mu$APの0.1556よりも大幅に改善した。
論文 参考訳(メタデータ) (2021-11-15T18:01:05Z) - Trip-ROMA: Self-Supervised Learning with Triplets and Random Mappings [59.32440962369532]
単純なトリプルトに基づく損失は、大きなバッチや非対称性設計を必要とせずに驚くほど優れた性能が得られることを示す。
小型データシステムにおける過度に適合する問題を緩和するため,簡単なRandOm MApping(ROMA)戦略を提案する。
論文 参考訳(メタデータ) (2021-07-22T02:06:38Z) - Memory Efficient Meta-Learning with Large Images [62.70515410249566]
数ショットの分類に対するメタ学習アプローチは、新しいタスクを学ぶために、ほんの数ステップの最適化やシングルフォワードパスを必要とするテスト時に計算的に効率的である。
この制限は、最大1000のイメージを含むタスクの全体サポートセットが、最適化ステップを取る前に処理されなければならないために生じる。
本稿では,1つのGPU上の大容量画像からなる大規模タスクのメタトレーニングを可能にする,汎用的でメモリ効率の良いエピソード・トレーニング手法であるLITEを提案する。
論文 参考訳(メタデータ) (2021-07-02T14:37:13Z) - Large Batch Simulation for Deep Reinforcement Learning [101.01408262583378]
我々は,視覚複雑な3次元環境における深層強化学習に基づく学習を,事前作業よりも2桁高速化する。
単一のGPUマシンで1秒間に19,000フレーム以上の経験と最大72,000フレーム/秒のエンドツーエンドのトレーニング速度を実現します。
バッチシミュレーションと性能最適化を組み合わせることで、1つのGPU上の複雑な3D環境において、従来の最先端システムでトレーニングされたエージェントの精度の97%から97%まで、ポイントナビゲーションエージェントをトレーニングできることを実証する。
論文 参考訳(メタデータ) (2021-03-12T00:22:50Z) - Contrastive Learning Meets Transfer Learning: A Case Study In Medical
Image Analysis [2.4050073971195003]
注釈付き医療画像は、ドメインの知識とプライバシーの制約によって制限されるため、ラベル付き自然画像よりも稀である。
転校とコントラスト学習の最近の進歩は、異なる視点からこれらの問題に取り組む効果的な解決策を提供してきた。
遅い収束速度が現代のコントラスト学習アプローチの重要な制限であることを考えると、トランスファー学習によるコントラスト学習を加速させるのは魅力的です。
論文 参考訳(メタデータ) (2021-03-04T17:19:54Z) - Fed-Sim: Federated Simulation for Medical Imaging [131.56325440976207]
本稿では、2つの学習可能なニューラルモジュールからなる物理駆動型生成手法を提案する。
データ合成フレームワークは、複数のデータセットの下流セグメンテーション性能を改善する。
論文 参考訳(メタデータ) (2020-09-01T19:17:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。