Fugu-MT 論文翻訳(概要): Swin MAE: Masked Autoencoders for Small Datasets

論文の概要: Swin MAE: Masked Autoencoders for Small Datasets

arxiv url: http://arxiv.org/abs/2212.13805v1
Date: Wed, 28 Dec 2022 12:53:44 GMT
ステータス: 処理完了
システム内更新日: 2022-12-29 14:24:21.470010
Title: Swin MAE: Masked Autoencoders for Small Datasets
Title（参考訳）: Swin MAE: 小さなデータセットのためのマスク付きオートエンコーダ
Authors: Zi'an Xu, Yin Dai, Fayu Liu, Weibing Chen, Yue Liu, Lifu Shi, Sheng Liu, Yuhang Zhou
Abstract要約: 教師なし学習は、医用画像解析の問題を解決するのにより適している。 Swin MAEは、Swin Transformerをバックボーンとするマスク付きオートエンコーダである。 ImageNetでトレーニングされたSwin Transformerによって得られた教師付きモデルに等しく、あるいはわずかに優れる。
参考スコア（独自算出の注目度）: 10.418004777823652
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The development of deep learning models in medical image analysis is majorly limited by the lack of large-sized and well-annotated datasets. Unsupervised learning does not require labels and is more suitable for solving medical image analysis problems. However, most of the current unsupervised learning methods need to be applied to large datasets. To make unsupervised learning applicable to small datasets, we proposed Swin MAE, which is a masked autoencoder with Swin Transformer as its backbone. Even on a dataset of only a few thousand medical images and without using any pre-trained models, Swin MAE is still able to learn useful semantic features purely from images. It can equal or even slightly outperform the supervised model obtained by Swin Transformer trained on ImageNet in terms of the transfer learning results of downstream tasks. The code will be publicly available soon.
Abstract（参考訳）: 医用画像解析における深層学習モデルの開発は、大規模かつ注釈付きデータセットの欠如によって大きく制限されている。教師なし学習はラベルを必要とせず、医療画像解析の問題を解決するのに適している。しかし、現在の教師なし学習手法のほとんどは、大規模なデータセットに適用する必要がある。教師なし学習を小さなデータセットに適用するために,Swin Transformerをバックボーンとしたマスク付きオートエンコーダSwin MAEを提案する。何千もの医療画像のデータセット上でも、事前訓練されたモデルを使用しなくても、Swin MAEは画像から有用なセマンティック機能を学ぶことができる。これは、下流タスクの転送学習結果の観点から、ImageNetでトレーニングされたSwin Transformerによって得られた教師付きモデルに等しく、あるいはわずかに優れる。コードは近々公開される予定だ。

関連論文リスト

Self-supervised learning improves robustness of deep learning lung tumor segmentation to CT imaging differences [7.332652485849634]
自己教師付き学習(SSL)は、ラベルのないデータから有用な特徴表現を抽出する手法である。我々は,Wild vs self-pretrained transformer (ViT) と階層型シフトウインドウ (Swin) モデルのロバストさとCT画像の違いを比較した。肺腫瘍の分画におけるCT像像の違いは, 自己前置法よりも, 野生前置型ネットワークの方が, より堅牢であった。
論文参考訳（メタデータ） (2024-05-14T14:35:21Z)
Self-Supervised Pre-Training with Contrastive and Masked Autoencoder Methods for Dealing with Small Datasets in Deep Learning for Medical Imaging [8.34398674359296]
医用画像の深層学習は、診断ミスのリスクを最小限に抑え、放射線医の作業量を減らし、診断を加速する可能性がある。このようなディープラーニングモデルのトレーニングには,すべてのトレーニングサンプルに対するアノテーションを備えた,大規模かつ正確なデータセットが必要です。この課題に対処するために、ディープラーニングモデルは、自己教師付き学習の分野からのメソッドを使用してアノテーションなしで、大規模な画像データセット上で事前トレーニングすることができる。
論文参考訳（メタデータ） (2023-08-12T11:31:01Z)
Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2023-07-31T17:59:42Z)
SwinMM: Masked Multi-view with Swin Transformers for 3D Medical Image Segmentation [32.092182889440814]
医用画像解析のための新しいマルチビューパイプラインであるSwin Transformers (SwinMM) を用いたMasked Multi-viewを提案する。トレーニング前段階では,マスク付きマルチビュー観測を同時にトレーニングするために考案されたマスク付きマルチビューエンコーダをデプロイする。新しいタスクは、様々な視点から予測間の一貫性を活かし、隠れた多視点情報の抽出を可能にする。
論文参考訳（メタデータ） (2023-07-24T08:06:46Z)
Masked autoencoders are effective solution to transformer data-hungry [0.0]
ビジョントランスフォーマー(ViT)は、いくつかのビジョンタスクにおいて、そのグローバルモデリング能力で畳み込みニューラルネットワーク(CNN)を上回っている。 ViTには、畳み込みに固有の帰納バイアスがなく、トレーニングに大量のデータを必要とする。マスク付きオートエンコーダ(MAE)は、トランスフォーマーが画像自体にもっと焦点を合わせることができる。
論文参考訳（メタデータ） (2022-12-12T03:15:19Z)
Generative Transfer Learning: Covid-19 Classification with a few Chest X-ray Images [0.0]
深層学習モデルは解釈を迅速化し、人間の専門家の仕事を軽減することができる。 Deep Transfer Learningは、パブリックドメインで事前訓練されたモデルを使用することで、この問題に対処する。本稿では,既存の大規模事前学習モデルと同様に,単一の概念に基づいて事前学習した簡易な生成源モデルを提案する。
論文参考訳（メタデータ） (2022-08-10T12:37:52Z)
Self-Supervised Learning as a Means To Reduce the Need for Labeled Data in Medical Image Analysis [64.4093648042484]
胸部X線画像のデータセットとバウンディングボックスラベルを用いて,13種類の異常の分類を行った。ラベル付きデータの平均精度と精度を60%に抑えることで,完全教師付きモデルと同等の性能が得られることを示す。
論文参考訳（メタデータ） (2022-06-01T09:20:30Z)
Multimodal Masked Autoencoders Learn Transferable Representations [127.35955819874063]
単純でスケーラブルなネットワークアーキテクチャであるM3AE(Multimodal Masked Autoencoder)を提案する。 M3AEは、マスク付きトークン予測により、視覚と言語データの両方の統一エンコーダを学習する。我々は,大規模な画像テキストデータセット上で訓練されたM3AEについて実証的研究を行い,M3AEが下流タスクによく伝達される一般化可能な表現を学習できることを見出した。
論文参考訳（メタデータ） (2022-05-27T19:09:42Z)
Intelligent Masking: Deep Q-Learning for Context Encoding in Medical Image Analysis [48.02011627390706]
我々は,対象地域を排除し,事前訓練の手順を改善する,新たな自己指導型アプローチを開発した。予測モデルに対してエージェントを訓練することで、下流の分類タスクで抽出した意味的特徴を大幅に改善できることを示す。
論文参考訳（メタデータ） (2022-03-25T19:05:06Z)
Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
論文参考訳（メタデータ） (2021-11-11T18:46:40Z)
Towards Unsupervised Learning for Instrument Segmentation in Robotic Surgery with Cycle-Consistent Adversarial Networks [54.00217496410142]
本稿では、入力された内視鏡画像と対応するアノテーションとのマッピングを学習することを目的として、未ペア画像から画像への変換を提案する。当社のアプローチでは,高価なアノテーションを取得することなく,イメージセグメンテーションモデルをトレーニングすることが可能です。提案手法をEndovis 2017チャレンジデータセットで検証し,教師付きセグメンテーション手法と競合することを示す。
論文参考訳（メタデータ） (2020-07-09T01:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。