論文の概要: Advancing Volumetric Medical Image Segmentation via Global-Local Masked
Autoencoder
- arxiv url: http://arxiv.org/abs/2306.08913v1
- Date: Thu, 15 Jun 2023 07:32:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 16:02:16.104013
- Title: Advancing Volumetric Medical Image Segmentation via Global-Local Masked
Autoencoder
- Title(参考訳): グローバルローカルマスケードオートエンコーダによるボリューム・メディカル・イメージ・セグメンテーションの促進
- Authors: Jia-Xin Zhuang, Luyang Luo, Hao Chen
- Abstract要約: Masked Autoencoder (MAE) は有望な自己教師型事前訓練技術として登場した。
Global-Local Masked AutoEncoder (GL-MAE) は、シンプルだが効果的な自己指導型事前学習戦略である。
GL-MAEは、マスクされたグローバルボリュームとマスクされたローカルボリュームの両方を再構築する。
- 参考スコア(独自算出の注目度): 6.995197856154173
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Masked autoencoder (MAE) has emerged as a promising self-supervised
pretraining technique to enhance the representation learning of a neural
network without human intervention. To adapt MAE onto volumetric medical
images, existing methods exhibit two challenges: first, the global information
crucial for understanding the clinical context of the holistic data is lacked;
second, there was no guarantee of stabilizing the representations learned from
the randomly masked inputs. To tackle these limitations, we proposed
Global-Local Masked AutoEncoder (GL-MAE), a simple yet effective
self-supervised pre-training strategy. GL-MAE reconstructs both the masked
global and masked local volumes, which enables learning the essential local
details as well as the global context. We further introduced global-to-global
consistency and local-to-global correspondence via global-guided consistency
learning to enhance and stabilize the representation learning of the masked
volumes. Finetuning results on multiple datasets illustrate the superiority of
our method over other state-of-the-art self-supervised algorithms,
demonstrating its effectiveness on versatile volumetric medical image
segmentation tasks, even when annotations are scarce. Codes and models will be
released upon acceptance.
- Abstract(参考訳): masked autoencoder(mae)は、人間の介入なしにニューラルネットワークの表現学習を強化する、有望な自己教師付き事前学習技術として登場した。
大量医療画像にmaeを適用するには, 既存の手法では, 総括的データの臨床的文脈を理解する上で重要なグローバル情報が欠落していること, ランダムにマスクされた入力から得られた表現を安定化する保証がないこと, の2つの課題がある。
これらの制約に対処するため,我々は,シンプルで効果的な自己教師付き事前学習戦略であるGL-MAE(Global-Local Masked AutoEncoder)を提案した。
GL-MAEは、マスクされたグローバルボリュームとマスクされたローカルボリュームの両方を再構築する。
さらに,マスク付きボリュームの表現学習の強化と安定化を図るため,グローバル-グローバル整合性およびグローバル-グローバル対応をグローバル誘導整合学習を通じて導入した。
複数のデータセットのファインタニングの結果は、アノテーションが不足している場合でも、他の最先端のセルフ教師付きアルゴリズムよりも優れていることを示す。
コードとモデルは受け入れ次第リリースされる。
関連論文リスト
- UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳(メタデータ) (2024-02-12T19:39:26Z) - Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement
Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。
本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。
本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文 参考訳(メタデータ) (2023-10-06T10:40:46Z) - Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。
そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
論文 参考訳(メタデータ) (2023-10-03T12:08:15Z) - Global and Local Semantic Completion Learning for Vision-Language
Pre-training [34.740507502215536]
クロスモーダルアライメントは、視覚言語事前学習モデルにおいて重要な役割を果たす。
グローバル・ローカル・セマンティック・コンプリート・ラーニング(GLSCL)タスクを提案し,グローバル・ローカル・アライメントとローカル・ローカル・アライメントを同時に行う。
論文 参考訳(メタデータ) (2023-06-12T13:20:29Z) - MA2CL:Masked Attentive Contrastive Learning for Multi-Agent
Reinforcement Learning [128.19212716007794]
我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。
MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。
提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
論文 参考訳(メタデータ) (2023-06-03T05:32:19Z) - Multi-Level Global Context Cross Consistency Model for Semi-Supervised
Ultrasound Image Segmentation with Diffusion Model [0.0]
本研究では,Latent Diffusion Model (LDM) によって生成された画像を,半教師付き学習のためのラベル付き画像として利用するフレームワークを提案する。
提案手法により,確率分布の知識をセグメント化ネットワークに効果的に伝達することが可能となり,セグメント化精度が向上する。
論文 参考訳(メタデータ) (2023-05-16T14:08:24Z) - USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text
Retrieval [115.28586222748478]
Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。
既存のアプローチは通常、2つの大きな制限に悩まされる。
論文 参考訳(メタデータ) (2023-01-17T12:42:58Z) - Seeing What You Miss: Vision-Language Pre-training with Semantic
Completion Learning [22.464424641734652]
クロスモーダルアライメントは視覚言語事前学習モデルに不可欠である。
本研究では,グローバル・ローカル・アライメントを支援するセマンティック・コンプリート学習タスクを提案する。
また、フレキシブル・ビジョン・エンコーダを導入し、画像テキストとビデオテキストのマルチモーダルタスクを同時に実行できるようにした。
論文 参考訳(メタデータ) (2022-11-24T06:39:16Z) - Is Attention Better Than Matrix Decomposition? [58.813382406412195]
我々は,長距離依存を符号化する行列分解モデルよりも自己注意の方が優れていることを示す。
本稿では,MDを解くための最適化アルゴリズムを用いて,入力表現をサブ行列に分解し,低ランクな埋め込みを再構築する一連のハンブルガーを提案する。
グローバルな文脈を学習することが不可欠であるビジョンタスクにおいて、総合的な実験が実施される。
論文 参考訳(メタデータ) (2021-09-09T20:40:19Z) - Momentum Contrastive Voxel-wise Representation Learning for
Semi-supervised Volumetric Medical Image Segmentation [2.3322477552758234]
医用画像セグメンテーションのためのグローバルな視覚表現を学習するための幾何学的制約付きコントラストVoxel-wise Representation(CVRL)法を提案する。
このフレームワークは,3次元空間的コンテキストと豊かな解剖学的情報をキャプチャすることで,グローバルおよびローカルな特徴を効果的に学習することができる。
論文 参考訳(メタデータ) (2021-05-14T20:27:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。