論文の概要: Vector Contrastive Learning For Pixel-Wise Pretraining In Medical Vision

• arxiv url: http://arxiv.org/abs/2506.20850v1
• Date: Wed, 25 Jun 2025 21:44:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:09.897061
• Title: Vector Contrastive Learning For Pixel-Wise Pretraining In Medical Vision
• Title（参考訳）: 医用視力訓練のためのベクトルコントラスト学習
• Authors: Yuting He, Shuo Li,
• Abstract要約: コントラスト学習(CL)は、基礎モデルにおける自己教師付き事前訓練(SSP)の基盤となっている。 しかし、CLをピクセルワイズに拡張することは、医療ビジョンにとって重要な問題であり続けている。 標準CLは、SSPを2値最適化問題(バイナリCL)として定式化し、特徴分散の過剰な追従が過分散問題を引き起こす。 我々のベクトルCLはCLをベクトル回帰問題として再構成し、画素単位の事前学習における分散量子化を可能にする。
• 参考スコア（独自算出の注目度）: 7.7726708098088535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning (CL) has become a cornerstone of self-supervised pretraining (SSP) in foundation models, however, extending CL to pixel-wise representation, crucial for medical vision, remains an open problem. Standard CL formulates SSP as a binary optimization problem (binary CL) where the excessive pursuit of feature dispersion leads to an over-dispersion problem, breaking pixel-wise feature correlation thus disrupting the intra-class distribution. Our vector CL reformulates CL as a vector regression problem, enabling dispersion quantification in pixel-wise pretraining via modeling feature distances in regressing displacement vectors. To implement this novel paradigm, we propose the COntrast in VEctor Regression (COVER) framework. COVER establishes an extendable vector-based self-learning, enforces a consistent optimization flow from vector regression to distance modeling, and leverages a vector pyramid architecture for granularity adaptation, thus preserving pixel-wise feature correlations in SSP. Extensive experiments across 8 tasks, spanning 2 dimensions and 4 modalities, show that COVER significantly improves pixel-wise SSP, advancing generalizable medical visual foundation models.
• Abstract（参考訳）: コントラスト学習(CL)は、基礎モデルにおける自己教師付き事前訓練(SSP)の基盤となっているが、医学的ビジョンに不可欠なピクセル単位の表現にCLを拡張することは、未解決の問題である。 標準CLは、SSPを2値最適化問題(バイナリCL)として定式化し、特徴分散の過剰な追従が過分散問題を引き起こし、画素単位の特徴相関を破り、クラス内分布を乱す。 我々のベクトルCLは、CLをベクトル回帰問題として再構成し、回帰変位ベクトルにおける特徴距離をモデル化することにより、画素単位の事前学習における分散量子化を可能にする。 本稿では,このパラダイムを実現するために,vector Regression (COVER) フレームワークにおけるCOntrastを提案する。 COVERは、拡張可能なベクトルベースの自己学習を確立し、ベクトル回帰から距離モデリングまで一貫した最適化フローを強制し、ベクトルピラミッドアーキテクチャを粒度適応に活用し、SSPにおける画素単位の特徴相関を保存する。 8つのタスクにまたがる広範囲な実験は、2次元と4つのモダリティにまたがるものであり、COVERはピクセルワイズSPを大幅に改善し、一般化可能な医用視覚基盤モデルを推進している。

関連論文リスト

• Semi-supervised Semantic Segmentation with Multi-Constraint Consistency Learning [81.02648336552421]
  本稿では,エンコーダとデコーダの段階的拡張を容易にするためのマルチ制約一貫性学習手法を提案する。 自己適応型特徴マスキングとノイズ注入は、デコーダの堅牢な学習のための特徴を摂動させるために、インスタンス固有の方法で設計されている。 Pascal VOC2012およびCityscapesデータセットの実験結果から,提案したMCCLが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-23T03:21:33Z)
• Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
  医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。 半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
  論文  参考訳（メタデータ） (2023-12-26T12:56:31Z)
• How to train your VAE [0.0]
  変分オートエンコーダ(VAE)は、機械学習における生成モデリングと表現学習の基盤となっている。 本稿では,ELBO(エビデンス・ロウアー・バウンド)における重要な構成要素であるKLディバージェンス(Kulback-Leibler)の解釈について検討する。 提案手法は, ELBOを後続確率のガウス混合体で再定義し, 正規化項を導入し, テクスチャリアリズムを高めるためにPatchGAN識別器を用いる。
  論文  参考訳（メタデータ） (2023-09-22T19:52:28Z)
• Communication-Efficient Split Learning via Adaptive Feature-Wise Compression [24.186009110063566]
  SplitFCはコミュニケーション効率のよい分割学習フレームワークである。 i)適応的特徴量ドロップアウトと(ii)適応的特徴量量子化の2つの圧縮戦略が組み込まれている。 MNIST、CIFAR-100、CelebAデータセットのシミュレーション結果は、SplitFCが最先端のSLフレームワークより優れていることを示している。
  論文  参考訳（メタデータ） (2023-07-20T12:16:26Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• ReCLIP: A Strong Zero-Shot Baseline for Referring Expression Comprehension [114.85628613911713]
  大規模事前学習モデルは領域間の画像分類に有用である。 ReCLIPは単純だが強力なゼロショットベースラインであり、ReCのための最先端の大規模モデルであるCLIPを再利用する。
  論文  参考訳（メタデータ） (2022-04-12T17:55:38Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。