論文の概要: Learning Semantics-enriched Representation via Self-discovery,
Self-classification, and Self-restoration
- arxiv url: http://arxiv.org/abs/2007.06959v1
- Date: Tue, 14 Jul 2020 10:36:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 15:18:59.740566
- Title: Learning Semantics-enriched Representation via Self-discovery,
Self-classification, and Self-restoration
- Title(参考訳): 自己発見、自己分類、自己修復による意味論的表現の学習
- Authors: Fatemeh Haghighi, Mohammad Reza Hosseinzadeh Taher, Zongwei Zhou,
Michael B. Gotway, Jianming Liang
- Abstract要約: 医用画像下の解剖学の自己発見、自己分類、自己復元により、セマンティックに富んだ視覚表現を学ぶために、深層モデルを訓練する。
セマンティック・ジェネシス(Semantic Genesis)は、6つの異なる目標タスクにおいて、自己監督または完全な監督によって、一般に利用可能なすべての事前訓練されたモデルで検証する。
実験の結果,セマンティック・ジェネシスは2次元画像ネットワークを用いたデファクト・トランスファー・ラーニングと同様に,その3次元の全てをはるかに上回っていることがわかった。
- 参考スコア(独自算出の注目度): 12.609383051645887
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Medical images are naturally associated with rich semantics about the human
anatomy, reflected in an abundance of recurring anatomical patterns, offering
unique potential to foster deep semantic representation learning and yield
semantically more powerful models for different medical applications. But how
exactly such strong yet free semantics embedded in medical images can be
harnessed for self-supervised learning remains largely unexplored. To this end,
we train deep models to learn semantically enriched visual representation by
self-discovery, self-classification, and self-restoration of the anatomy
underneath medical images, resulting in a semantics-enriched, general-purpose,
pre-trained 3D model, named Semantic Genesis. We examine our Semantic Genesis
with all the publicly-available pre-trained models, by either self-supervision
or fully supervision, on the six distinct target tasks, covering both
classification and segmentation in various medical modalities (i.e.,CT, MRI,
and X-ray). Our extensive experiments demonstrate that Semantic Genesis
significantly exceeds all of its 3D counterparts as well as the de facto
ImageNet-based transfer learning in 2D. This performance is attributed to our
novel self-supervised learning framework, encouraging deep models to learn
compelling semantic representation from abundant anatomical patterns resulting
from consistent anatomies embedded in medical images. Code and pre-trained
Semantic Genesis are available at https://github.com/JLiangLab/SemanticGenesis .
- Abstract(参考訳): 医療画像は、人間の解剖学に関する豊富な意味論と自然に関連し、繰り返し繰り返される解剖学的パターンに反映され、深い意味表現学習を育むユニークな可能性を提供し、異なる医療応用のための意味論的により強力なモデルを提供する。
しかし、そのような強いが自由なセマンティックスを医療画像に埋め込むことができるのかは、まだ明らかにされていない。
この目的のために,深層モデルを用いて自己発見,自己分類,および医用画像下の解剖学の自己修復により,意味論的に強化された視覚表現を学習し,意味論的に強化された汎用的3dモデルであるセマンティック・ジェネシス(semantic genesis)を実現する。
我々は,様々な医学的特徴(ct,mri,x線)の分類と分節化の両方をカバーする6つの異なる対象課題について,自己監督または完全な監督によって,利用可能なすべての事前学習モデルを用いて意味論的生成を検討する。
我々の広範な実験は、セマンティック・ジェネシスが3Dの全てをはるかに上回り、2Dのイメージネットに基づくデファクト・トランスファー学習をはるかに上回っていることを示している。
これは、医療画像に埋め込まれた一貫した解剖学から得られる豊富な解剖学的パターンから、深層モデルに説得力のある意味表現を学ぶように促すものです。
コードと事前トレーニングされたSemantic Genesisはhttps://github.com/JLiangLab/SemanticGenesis で入手できる。
関連論文リスト
- Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [53.7168869241458]
現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。
しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。
より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか?
本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
論文 参考訳(メタデータ) (2023-10-20T03:33:36Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Controllable Mind Visual Diffusion Model [58.83896307930354]
脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。
我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。
CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。
そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
論文 参考訳(メタデータ) (2023-05-17T11:36:40Z) - Anatomical Invariance Modeling and Semantic Alignment for
Self-supervised Learning in 3D Medical Image Analysis [6.87667643104543]
自己教師付き学習(SSL)は、最近、3D医療画像解析タスクで有望なパフォーマンスを達成した。
現在のほとんどの手法は、元々写真や自然画像用に設計された既存のSSLパラダイムに従っている。
我々は,解剖的不変性モデリングと意味的アライメントを明確に満たす,自己教師付き学習フレームワークAliceを提案する。
論文 参考訳(メタデータ) (2023-02-11T06:36:20Z) - Semantic Brain Decoding: from fMRI to conceptually similar image
reconstruction of visual stimuli [0.29005223064604074]
本稿では,意味的・文脈的類似性にも依存する脳復号法を提案する。
我々は、自然視のfMRIデータセットを使用し、人間の視覚におけるボトムアップとトップダウンの両方のプロセスの存在にインスパイアされたディープラーニングデコードパイプラインを作成します。
視覚刺激の再現は, それまでの文献において, 本来の内容とセマンティックレベルで非常によく一致し, 芸術の状態を超越している。
論文 参考訳(メタデータ) (2022-12-13T16:54:08Z) - Multi-Modal Masked Autoencoders for Medical Vision-and-Language
Pre-Training [62.215025958347105]
マルチモーダルマスク付きオートエンコーダを用いた自己教師型学習パラダイムを提案する。
我々は、ランダムにマスキングされた画像やテキストから欠落したピクセルやトークンを再構成することで、クロスモーダルなドメイン知識を学習する。
論文 参考訳(メタデータ) (2022-09-15T07:26:43Z) - Towards Highly Expressive Machine Learning Models of Non-Melanoma Skin
Cancer [0.0]
非メラノーマ皮膚癌の問題領域に離散的モデリング技術を適用する実験を行った。
我々は、病理学用語を用いて自然言語記述を生成するシーケンス・ツー・シーケンス・トランスフォーマーを訓練した。
その結果は、高度に表現力のある機械学習システムに向けた、有望な手段となる。
論文 参考訳(メタデータ) (2022-07-09T04:53:25Z) - Generalized Organ Segmentation by Imitating One-shot Reasoning using
Anatomical Correlation [55.1248480381153]
そこで我々は,アノテーション付きオルガンクラスから一般化されたオルガン概念を学習し,その概念を未知のクラスに転送するOrganNetを提案する。
そこで,OrganNetは臓器形態の幅広い変化に効果的に抵抗でき,一発分節タスクで最先端の結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-30T13:41:12Z) - Transferable Visual Words: Exploiting the Semantics of Anatomical
Patterns for Self-supervised Learning [6.569456721086925]
Transferable Visual Word (TransVW) は、医学的画像解析における深層学習のためのアノテーション効率の実現を目指している。
自己発見による解剖学的整合性に応じて,これらの視覚的単語を自動抽出できることが示される。
TransVWのアノテーション効率を実証し、より高性能で高速な収束を実現し、アノテーションコストを削減します。
論文 参考訳(メタデータ) (2021-02-21T20:44:55Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳(メタデータ) (2020-12-10T04:01:07Z) - Models Genesis [10.929445262793116]
自然画像から医用画像への変換学習は、医用画像解析のためのディープラーニングにおける最も実践的なパラダイムの1つとして確立されている。
この制限を克服するため、私たちはGeneric Autodidactic Modelsと呼ばれるモデルセットを構築しました。
実験の結果, 対象とする5つの3Dアプリケーションすべてにおいて, 既存のトレーニング済み3Dモデルとスクラッチから学習を著しく上回る結果が得られた。
論文 参考訳(メタデータ) (2020-04-09T20:37:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。