論文の概要: Indescribable Multi-modal Spatial Evaluator
- arxiv url: http://arxiv.org/abs/2303.00369v1
- Date: Wed, 1 Mar 2023 09:50:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-02 15:15:35.284524
- Title: Indescribable Multi-modal Spatial Evaluator
- Title（参考訳）: 説明不能なマルチモーダル空間評価器
- Authors: Lingke Kong, X. Sharon Qi, Qijin Shen, Jiacheng Wang, Jingyi Zhang,
Yanle Hu, Qichao Zhou
- Abstract要約: マルチモーダル画像登録は、2つの画像を異なる分布で空間的に整列する。
本研究では,自己管理型マルチモデル空間評価器(IMSE)を開発した。
IMSEは2つの画像間の空間差を測定するための高精度なマルチモーダル空間評価器を作成する。
- 参考スコア（独自算出の注目度）: 3.5581975974182347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-modal image registration spatially aligns two images with different
distributions. One of its major challenges is that images acquired from
different imaging machines have different imaging distributions, making it
difficult to focus only on the spatial aspect of the images and ignore
differences in distributions. In this study, we developed a self-supervised
approach, Indescribable Multi-model Spatial Evaluator (IMSE), to address
multi-modal image registration. IMSE creates an accurate multi-modal spatial
evaluator to measure spatial differences between two images, and then optimizes
registration by minimizing the error predicted of the evaluator. To optimize
IMSE performance, we also proposed a new style enhancement method called
Shuffle Remap which randomizes the image distribution into multiple segments,
and then randomly disorders and remaps these segments, so that the distribution
of the original image is changed. Shuffle Remap can help IMSE to predict the
difference in spatial location from unseen target distributions. Our results
show that IMSE outperformed the existing methods for registration using T1-T2
and CT-MRI datasets. IMSE also can be easily integrated into the traditional
registration process, and can provide a convenient way to evaluate and
visualize registration results. IMSE also has the potential to be used as a new
paradigm for image-to-image translation. Our code is available at
https://github.com/Kid-Liet/IMSE.
- Abstract（参考訳）: マルチモーダル画像登録は、2つの画像を異なる分布で空間的に整列する。
主な課題の1つは、異なる撮像装置から取得した画像が異なる画像分布を持つため、画像の空間的側面のみに焦点を合わせ、分布の違いを無視することが困難である。
本研究では,マルチモーダル画像登録のための自己教師型手法であるIndescribable Multi-model Spatial Evaluator (IMSE)を開発した。
IMSEは2つの画像間の空間差を測定するための正確なマルチモーダル空間評価器を作成し、その評価器の誤差予測を最小化して登録を最適化する。
IMSE性能を最適化するために,複数のセグメントに画像分布をランダムに分割し,これらのセグメントをランダムに乱して再マップし,元のイメージの分布を変更するShuffle Remapと呼ばれる新しいスタイル拡張手法を提案する。
Shuffle RemapはIMSEが未確認のターゲット分布と空間的位置の違いを予測するのに役立つ。
IMSEはT1-T2およびCT-MRIデータセットを用いた既存の登録方法よりも優れていた。
IMSEは、従来の登録プロセスに簡単に統合することができ、登録結果を評価および視覚化する便利な方法を提供する。
IMSEはまた、画像から画像への翻訳の新しいパラダイムとして使われる可能性がある。
私たちのコードはhttps://github.com/kid-liet/imseで利用可能です。
関連論文リスト
- MsMorph: An Unsupervised pyramid learning network for brain image registration [4.000367245594772]
MsMorphは、イメージペアを登録する手動プロセスの模倣を目的とした、イメージ登録フレームワークである。
異なるスケールで意味情報をデコードし、予測された変形場に対して連続的に合成する。
提案手法は,画像ペアとその近傍の異なる領域に着目し,手動による登録手法をシミュレートする。
論文 参考訳（メタデータ） (2024-10-23T19:20:57Z) - Large Language Models for Multimodal Deformable Image Registration [50.91473745610945]
そこで本研究では,様々な医用画像からの深い特徴の整合を図るために,新しい粗いMDIRフレームワークLLM-Morphを提案する。
具体的には、まずCNNエンコーダを用いて、クロスモーダル画像ペアから深い視覚的特徴を抽出し、次に、最初のアダプタを使ってこれらのトークンを調整する。
第3に、トークンのアライメントのために、他の4つのアダプタを使用して、LLM符号化トークンをマルチスケールの視覚特徴に変換し、マルチスケールの変形場を生成し、粗いMDIRタスクを容易にする。
論文 参考訳（メタデータ） (2024-08-20T09:58:30Z) - Cross-Domain Separable Translation Network for Multimodal Image Change Detection [11.25422609271201]
マルチモーダル変化検出(MCD)はリモートセンシングコミュニティにおいて特に重要である。
本稿では,MDDの課題,特に異なるセンサの画像を比較することの難しさに対処することに焦点を当てる。
これらの制限を克服するために、新しい教師なしクロスドメイン分離型翻訳ネットワーク(CSTN)が提案されている。
論文 参考訳（メタデータ） (2024-07-23T03:56:02Z) - Multi-Representation Adaptation Network for Cross-domain Image
Classification [20.615155915233693]
画像分類では、十分なラベルを取得するのに高価で時間がかかることが多い。
既存のアプローチは、主に単一の構造によって抽出された表現の分布を整列させる。
クロスドメイン画像分類における分類精度を劇的に向上させる多表現適応を提案する。
論文 参考訳（メタデータ） (2022-01-04T06:34:48Z) - A Hierarchical Transformation-Discriminating Generative Model for Few
Shot Anomaly Detection [93.38607559281601]
各トレーニングイメージのマルチスケールパッチ分布をキャプチャする階層的生成モデルを開発した。
この異常スコアは、スケール及び画像領域にわたる正しい変換のパッチベースの投票を集約して得られる。
論文 参考訳（メタデータ） (2021-04-29T17:49:48Z) - Prototype Mixture Models for Few-shot Semantic Segmentation [50.866870384596446]
サポートやクエリ画像内のオブジェクトが外観やポーズで大きく異なる可能性があるため、ショットのセグメンテーションは難しい。
プロトタイプベースセマンティック表現を強制するために,多種多様な画像領域と複数のプロトタイプとの相関関係を持つプロトタイプ混合モデル(PMMs)を提案する。
PMMはMS-COCOの5ショットセグメンテーション性能を最大5.82%改善し、モデルサイズと推論速度の適度なコストに留まった。
論文 参考訳（メタデータ） (2020-08-10T04:33:17Z) - MvMM-RegNet: A new image registration framework based on multivariate
mixture model and neural network estimation [14.36896617430302]
生成モデル(MvMM)とニューラルネットワーク推定に基づく新しい画像登録フレームワークを提案する。
外観と解剖情報を一体化した生成モデルを構築し、グループ登録が可能な新規な損失関数を導出する。
マルチモーダル心画像への様々な応用のためのフレームワークの汎用性を強調した。
論文 参考訳（メタデータ） (2020-06-28T11:19:15Z) - CoMIR: Contrastive Multimodal Image Representation for Registration [4.543268895439618]
我々は,CoMIR(Contrastive Multimodal Image Representations)と呼ばれる,共有された高密度画像表現を学習するためのコントラスト符号化を提案する。
CoMIRは、十分に類似した画像構造が欠如しているため、既存の登録方法がしばしば失敗するマルチモーダル画像の登録を可能にする。
論文 参考訳（メタデータ） (2020-06-11T10:51:33Z) - Learning Deformable Image Registration from Optimization: Perspective,
Modules, Bilevel Training and Beyond [62.730497582218284]
マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。
我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
論文 参考訳（メタデータ） (2020-04-30T03:23:45Z) - GMM-UNIT: Unsupervised Multi-Domain and Multi-Modal Image-to-Image
Translation via Attribute Gaussian Mixture Modeling [66.50914391679375]
unsupervised image-to-image translation (UNIT) は、未経験の訓練画像を用いて、複数の視覚領域間のマッピングを学習することを目的としている。
最近の研究は、複数のドメインで顕著な成功を示しているが、それらは2つの主要な制限に悩まされている。
GMM-UNITという,空間にGMMを組み込むコンテンツ属性不整合表現に基づく手法を提案する。
論文 参考訳（メタデータ） (2020-03-15T10:18:56Z) - Unsupervised Bidirectional Cross-Modality Adaptation via Deeply
Synergistic Image and Feature Alignment for Medical Image Segmentation [73.84166499988443]
我々は、Synergistic Image and Feature Alignment (SIFA)と名付けられた新しい教師なしドメイン適応フレームワークを提案する。
提案するSIFAは、画像と特徴の両方の観点から、ドメインの相乗的アライメントを行う。
2つの異なるタスクに対する実験結果から,SIFA法は未ラベル対象画像のセグメンテーション性能を向上させるのに有効であることが示された。
論文 参考訳（メタデータ） (2020-02-06T13:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。