論文の概要: Can representation learning for multimodal image registration be improved by supervision of intermediate layers?

• arxiv url: http://arxiv.org/abs/2303.00403v1
• Date: Wed, 1 Mar 2023 10:51:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 15:05:15.860939
• Title: Can representation learning for multimodal image registration be improved by supervision of intermediate layers?
• Title（参考訳）: マルチモーダル画像登録のための表現学習は中間層を監督することで改善できるか?
• Authors: Elisabeth Wetzer and Joakim Lindblad and Nata\v{s}a Sladoje
• Abstract要約: コントラスト学習はマルチモーダル画像の表現を生成することができ、マルチモーダル画像登録の課題をモノモーダル画像に還元する。 類似した手法が登録のために学習した表現を改善し、登録性能を向上させるかどうかを評価する。
• 参考スコア（独自算出の注目度）: 3.793699016703772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal imaging and correlative analysis typically require image alignment. Contrastive learning can generate representations of multimodal images, reducing the challenging task of multimodal image registration to a monomodal one. Previously, additional supervision on intermediate layers in contrastive learning has improved biomedical image classification. We evaluate if a similar approach improves representations learned for registration to boost registration performance. We explore three approaches to add contrastive supervision to the latent features of the bottleneck layer in the U-Nets encoding the multimodal images and evaluate three different critic functions. Our results show that representations learned without additional supervision on latent features perform best in the downstream task of registration on two public biomedical datasets. We investigate the performance drop by exploiting recent insights in contrastive learning in classification and self-supervised learning. We visualize the spatial relations of the learned representations by means of multidimensional scaling, and show that additional supervision on the bottleneck layer can lead to partial dimensional collapse of the intermediate embedding space.
• Abstract（参考訳）: マルチモーダルイメージングと相関解析は通常、画像アライメントを必要とする。 コントラスト学習はマルチモーダル画像の表現を生成することができ、マルチモーダル画像登録の課題をモノモーダル画像に還元する。 これまで、対照的な学習における中間層へのさらなる監督は、バイオメディカルイメージの分類を改善してきた。 類似した手法が登録のために学んだ表現を改善し、登録性能を向上させるかどうかを評価する。 マルチモーダル画像の符号化を行うU-Netsにおいて,ボトルネック層の潜在的特徴に対して,コントラストを付加する3つのアプローチを検討し,3つの異なる批判機能を評価する。 以上の結果から,潜在機能に関する追加の監督なしに学習した表現は,2つの公衆バイオメディカルデータセットへの登録作業において最善の成績を示した。 分類学習と自己指導学習におけるコントラスト学習の最近の知見を活用して,性能低下について検討する。 多次元スケーリングを用いて学習した表現の空間的関係を可視化し、ボトルネック層に対する追加の監督が中間埋め込み空間の部分的な次元的崩壊を引き起こすことを示す。

関連論文リスト

• Free-ATM: Exploring Unsupervised Learning on Diffusion-Generated Images with Free Attention Masks [64.67735676127208]
  テキストと画像の拡散モデルは、画像認識の恩恵を受ける大きな可能性を示している。 有望ではあるが、拡散生成画像の教師なし学習に特化した調査は不十分である。 上記フリーアテンションマスクをフル活用することで、カスタマイズされたソリューションを導入する。
  論文  参考訳（メタデータ） (2023-08-13T10:07:46Z)
• Weakly-Supervised Learning of Visual Relations in Multimodal Pretraining [25.11384964373604]
  マルチモーダルな設定で視覚的実体を文脈化するための2つの事前学習手法を提案する。 言語化されたシーングラフを用いて、視覚関係のトリプレットを構造化キャプションに変換し、それらを付加的な画像記述として扱う。 マスク付き関係予測では、視覚的にマスクされたコンテキストを持つ画像領域からのエンティティの関連性をさらに促進する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:12Z)
• Localized Region Contrast for Enhancing Self-Supervised Learning in Medical Image Segmentation [27.82940072548603]
  本稿では,地域コントラスト(LRC)を統合した新しいコントラスト学習フレームワークを提案する。 提案手法では,Felzenszwalbのアルゴリズムによるスーパーピクセルの同定と,新しいコントラッシブサンプリング損失を用いた局所コントラスト学習を行う。
  論文  参考訳（メタデータ） (2023-04-06T22:43:13Z)
• Bridging Synthetic and Real Images: a Transferable and Multiple Consistency aided Fundus Image Enhancement Framework [61.74188977009786]
  画像強調とドメイン適応を同時に行うために,エンドツーエンドの教師支援フレームワークを提案する。 また,教師ネットワークと学生ネットワークのバックボーンとして,マルチステージ型マルチアテンション・ガイド・エンハンスメント・ネットワーク(MAGE-Net)を提案する。
  論文  参考訳（メタデータ） (2023-02-23T06:16:15Z)
• Unsupervised Feature Clustering Improves Contrastive Representation Learning for Medical Image Segmentation [18.75543045234889]
  自己監督型インスタンス識別は、特徴表現を学習し、限られた医用画像アノテーションに対処する効果的なコントラスト的前提課題である。 本稿では,教師なし特徴クラスタリングを用いた自己教師付きコントラスト学習手法を提案する。 本手法は,これらの課題に対して,最先端の自己監督型コントラスト技術より優れる。
  論文  参考訳（メタデータ） (2022-11-15T22:54:29Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Focus on the Positives: Self-Supervised Learning for Biodiversity Monitoring [9.086207853136054]
  ラベルのない画像コレクションから自己教師付き表現を学習する問題に対処する。 我々は,入力画像間の空間的関係や時間的関係などの情報を符号化する,手軽に利用可能なコンテキストデータを利用する。 地球生物多様性監視の重要課題として、人間の監督が限定された視覚的種分類タスクに適応可能な画像特徴があげられる。
  論文  参考訳（メタデータ） (2021-08-14T01:12:41Z)
• Multi-Label Image Classification with Contrastive Learning [57.47567461616912]
  コントラスト学習の直接適用は,複数ラベルの場合においてほとんど改善できないことを示す。 完全教師付き環境下でのコントラスト学習を用いたマルチラベル分類のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-24T15:00:47Z)
• Multimodal Contrastive Training for Visual Representation Learning [45.94662252627284]
  マルチモーダルデータを取り入れた視覚表現の学習手法を開発した。 本手法は,各モダリティおよびセマンティクス情報内の本質的なデータ特性をクロスモーダル相関から同時に利用する。 統合フレームワークにマルチモーダルトレーニングを組み込むことで,より強力で汎用的な視覚的特徴を学習することができる。
  論文  参考訳（メタデータ） (2021-04-26T19:23:36Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。