論文の概要: HySparK: Hybrid Sparse Masking for Large Scale Medical Image Pre-Training

• arxiv url: http://arxiv.org/abs/2408.05815v1
• Date: Sun, 11 Aug 2024 16:31:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 15:27:01.074301
• Title: HySparK: Hybrid Sparse Masking for Large Scale Medical Image Pre-Training
• Title（参考訳）: HySparK:大規模医用画像事前トレーニングのためのハイブリッドスパースマスキング
• Authors: Fenghe Tang, Ronghao Xu, Qingsong Yao, Xueming Fu, Quan Quan, Heqin Zhu, Zaiyi Liu, S. Kevin Zhou,
• Abstract要約: 本稿では,マスク画像モデリングに基づく生成前トレーニング戦略を提案し,医療画像の大規模事前トレーニングに応用する。 我々は,高密度なマルチスケール特徴再構成を実現するために,スキップ接続を備えた単純な階層型デコーダを用いる。
• 参考スコア（独自算出の注目度）: 21.444098313697044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The generative self-supervised learning strategy exhibits remarkable learning representational capabilities. However, there is limited attention to end-to-end pre-training methods based on a hybrid architecture of CNN and Transformer, which can learn strong local and global representations simultaneously. To address this issue, we propose a generative pre-training strategy called Hybrid Sparse masKing (HySparK) based on masked image modeling and apply it to large-scale pre-training on medical images. First, we perform a bottom-up 3D hybrid masking strategy on the encoder to keep consistency masking. Then we utilize sparse convolution for the top CNNs and encode unmasked patches for the bottom vision Transformers. Second, we employ a simple hierarchical decoder with skip-connections to achieve dense multi-scale feature reconstruction. Third, we implement our pre-training method on a collection of multiple large-scale 3D medical imaging datasets. Extensive experiments indicate that our proposed pre-training strategy demonstrates robust transfer-ability in supervised downstream tasks and sheds light on HySparK's promising prospects. The code is available at https://github.com/FengheTan9/HySparK
• Abstract（参考訳）: 生成的自己教師型学習戦略は、顕著な学習表現能力を示す。 しかし、CNNとTransformerのハイブリッドアーキテクチャに基づくエンドツーエンドの事前学習手法には、強い局所的およびグローバルな表現を同時に学習できる点が限定されている。 この問題に対処するために,マスク画像モデリングに基づくHybrid Sparse masKing (HySparK) と呼ばれる生成前トレーニング戦略を提案し,それを医用画像の大規模事前トレーニングに適用する。 まず,エンコーダの3Dハイブリットマスキング戦略をボトムアップで実施し,一貫性マスキングの維持を図る。 次に、上位のCNNにスパース畳み込みを利用し、下位の視覚変換器に未成熟のパッチをエンコードする。 第2に,高密度なマルチスケール特徴再構成を実現するために,スキップ接続を用いた単純な階層デコーダを用いる。 第3に,複数の大規模3次元医用画像データセットの収集に事前学習手法を実装した。 広範囲な実験の結果,提案した事前学習戦略は,教師付き下流作業において堅牢な伝達可能性を示し,HySparKの期待する将来性に光を当てている。 コードはhttps://github.com/FengheTan9/HySparKで入手できる。

関連論文リスト

• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Not All Image Regions Matter: Masked Vector Quantization for Autoregressive Image Generation [78.13793505707952]
  既存の自己回帰モデルは、まず画像再構成のための潜伏空間のコードブックを学習し、学習したコードブックに基づいて自己回帰的に画像生成を完了する2段階生成パラダイムに従っている。 そこで本研究では,Masked Quantization VAE (MQ-VAE) Stackモデルを用いた2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:15:53Z)
• HybridMIM: A Hybrid Masked Image Modeling Framework for 3D Medical Image Segmentation [29.15746532186427]
  HybridMIMは3次元医用画像セグメンテーションのためのマスク付き画像モデリングに基づく新しいハイブリッド自己教師型学習手法である。 医用画像の意味情報を3段階に分けて学習し,1)3次元画像の重要な内容を再構成する部分領域予測を行うことにより,トレーニング前の時間負担を大幅に軽減する。 提案するフレームワークは,エンコーダバックボーンとしてCNNとトランスフォーマーの両方をサポートするとともに,イメージセグメンテーションのためのデコーダの事前トレーニングも可能である。
  論文  参考訳（メタデータ） (2023-03-18T04:43:12Z)
• Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling [23.164631160130092]
  BERT型事前学習(仮面画像モデリング)の成功を畳み込みネットワーク(畳み込みネットワーク)に拡張する。 我々は、3次元点雲のスパースボクセルとして非マス化画素を扱い、スパース畳み込みを用いてエンコードする。 これは2次元マスクモデリングにおけるスパース畳み込みの最初の使用である。
  論文  参考訳（メタデータ） (2023-01-09T18:59:50Z)
• GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds [72.60362979456035]
  Masked Autoencoders (MAE)は、大規模な3Dポイントクラウドでの探索が難しい。 我々は,周囲のコンテキストを自動的にマージするためのtextbfGenerative textbfDecoder for MAE (GD-MAE)を提案する。 提案手法の有効性を, KITTI と ONCE の2つの大規模ベンチマークで実証した。
  論文  参考訳（メタデータ） (2022-12-06T14:32:55Z)
• Multiscale Convolutional Transformer with Center Mask Pretraining for Hyperspectral Image Classificationtion [14.33259265286265]
  本稿では,空間スペクトル情報の効率的な抽出を実現するために,高スペクトル画像(HSI)のための高速多スケール畳み込みモジュールを提案する。 マスクオートエンコーダと同様に、我々の事前学習法は、エンコーダ内の中央画素の対応するトークンのみをマスクし、残りのトークンをデコーダに入力し、中央画素のスペクトル情報を再構成する。
  論文  参考訳（メタデータ） (2022-03-09T14:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。