論文の概要: HiCo: Hierarchical Contrastive Learning for Ultrasound Video Model Pretraining

• arxiv url: http://arxiv.org/abs/2210.04477v1
• Date: Mon, 10 Oct 2022 08:07:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 17:57:23.367031
• Title: HiCo: Hierarchical Contrastive Learning for Ultrasound Video Model Pretraining
• Title（参考訳）: HiCo: 超音波ビデオモデル事前学習のための階層的コントラスト学習
• Authors: Chunhui Zhang and Yixiong Chen and Li Liu and Qiong Liu and Xi Zhou
• Abstract要約: 自己監督型超音波(US)ビデオモデルプレトレーニングは、少量のラベル付きデータを用いて、米国の診断において最も有望な結果の1つを達成することができる。 本研究では,階層型コントラスト学習(HiCo)手法を提案する。
• 参考スコア（独自算出の注目度）: 22.85475242323536
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The self-supervised ultrasound (US) video model pretraining can use a small amount of labeled data to achieve one of the most promising results on US diagnosis. However, it does not take full advantage of multi-level knowledge for learning deep neural networks (DNNs), and thus is difficult to learn transferable feature representations. This work proposes a hierarchical contrastive learning (HiCo) method to improve the transferability for the US video model pretraining. HiCo introduces both peer-level semantic alignment and cross-level semantic alignment to facilitate the interaction between different semantic levels, which can effectively accelerate the convergence speed, leading to better generalization and adaptation of the learned model. Additionally, a softened objective function is implemented by smoothing the hard labels, which can alleviate the negative effect caused by local similarities of images between different classes. Experiments with HiCo on five datasets demonstrate its favorable results over state-of-the-art approaches. The source code of this work is publicly available at \url{https://github.com/983632847/HiCo}.
• Abstract（参考訳）: 自己監督型超音波(US)ビデオモデルプレトレーニングは、少量のラベル付きデータを用いて、米国の診断において最も有望な結果の1つを達成することができる。 しかし、ディープニューラルネットワーク(DNN)を学ぶためのマルチレベル知識を十分に活用していないため、転送可能な特徴表現を学習することは困難である。 本研究では,階層型コントラスト学習(HiCo)手法を提案する。 HiCoは、ピアレベルのセマンティックアライメントとクロスレベルのセマンティックアライメントの両方を導入し、異なるセマンティックレベル間の相互作用を促進する。 さらに、ハードラベルを平滑化し、異なるクラス間の画像の局所的類似性に起因する悪影響を緩和することにより、軟化目的関数を実装する。 HiCoによる5つのデータセットの実験は、最先端のアプローチよりも好ましい結果を示している。 この作業のソースコードは \url{https://github.com/983632847/hico} で公開されている。

関連論文リスト

• CGLearn: Consistent Gradient-Based Learning for Out-of-Distribution Generalization [0.7366405857677226]
  本研究では,様々な環境における勾配の一致に依存する,単純だが強力なアプローチCGLearnを提案する。 提案手法は, 線形および非線形の条件下での最先端手法と比較して, 優れた性能を示す。 合成データセットと実世界のデータセットの総合的な実験は、様々なシナリオにおけるその有効性を強調している。
  論文  参考訳（メタデータ） (2024-11-09T02:36:39Z)
• Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
  画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。 アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。 ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
  論文  参考訳（メタデータ） (2024-04-28T08:44:28Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• OTMatch: Improving Semi-Supervised Learning with Optimal Transport [2.4355694259330467]
  我々はOTMatchと呼ばれる新しい手法を提案する。OTMatchはクラス間の意味的関係を利用して、最適輸送損失関数を用いて分布を一致させる。 実験結果から,本手法のベースライン上における改善が示され,半教師付き環境での学習性能向上に意味的関係を活用する上でのアプローチの有効性と優位性が示された。
  論文  参考訳（メタデータ） (2023-10-26T15:01:54Z)
• Multi-behavior Self-supervised Learning for Recommendation [36.42241501002167]
  本稿では,適応最適化手法とともに,MBSSL(Multi-Behavior Self-Supervised Learning)フレームワークを提案する。 具体的には、行動多重度と依存性をキャプチャする自己認識機構を組み込んだ行動認識型グラフニューラルネットワークを考案する。 5つの実世界のデータセットの実験は、MBSSLが10の最先端技術(SOTA)ベースライン上で得た一貫した改善を示している。
  論文  参考訳（メタデータ） (2023-05-22T15:57:32Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Self-Distilled Self-Supervised Representation Learning [35.60243157730165]
  自己教師付き学習における最先端のフレームワークは、トランスフォーマーベースのモデルを完全に活用することでパフォーマンスが向上することを示した。 本研究では, コントラッシブ・ロスにより, 中間表現が最終層から学習できるようにすることにより, さらにこれを活用する。 我々の手法であるSDSSL(Self-Distilled Self-Supervised Learning)は,様々なタスクやデータセット上でのViTを用いた競争ベースライン(SimCLR, BYOL, MoCo v3)より優れています。
  論文  参考訳（メタデータ） (2021-11-25T07:52:36Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。