論文の概要: Reliable Multi-modal Medical Image-to-image Translation Independent of Pixel-wise Aligned Data

• arxiv url: http://arxiv.org/abs/2408.14270v1
• Date: Mon, 26 Aug 2024 13:45:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 13:51:27.174199
• Title: Reliable Multi-modal Medical Image-to-image Translation Independent of Pixel-wise Aligned Data
• Title（参考訳）: 画素ワイドデータに依存しない信頼性のあるマルチモーダル医用画像から画像への変換
• Authors: Langrui Zhou, Guang Li,
• Abstract要約: 我々は、画素ワイド・アライメント・データ(MIIA)に依存しない、新しいマルチモーダルな医用画像から画像への変換モデルを開発する。 MITIAは、他の6つの最先端画像から画像への翻訳方法と比較して、優れたパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 2.328200803738193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The current mainstream multi-modal medical image-to-image translation methods face a contradiction. Supervised methods with outstanding performance rely on pixel-wise aligned training data to constrain the model optimization. However, obtaining pixel-wise aligned multi-modal medical image datasets is challenging. Unsupervised methods can be trained without paired data, but their reliability cannot be guaranteed. At present, there is no ideal multi-modal medical image-to-image translation method that can generate reliable translation results without the need for pixel-wise aligned data. This work aims to develop a novel medical image-to-image translation model that is independent of pixel-wise aligned data (MITIA), enabling reliable multi-modal medical image-to-image translation under the condition of misaligned training data. The proposed MITIA model utilizes a prior extraction network composed of a multi-modal medical image registration module and a multi-modal misalignment error detection module to extract pixel-level prior information from training data with misalignment errors to the largest extent. The extracted prior information is then used to construct a regularization term to constrain the optimization of the unsupervised cycle-consistent GAN model, restricting its solution space and thereby improving the performance and reliability of the generator. We trained the MITIA model using six datasets containing different misalignment errors and two well-aligned datasets. Subsequently, we compared the proposed method with six other state-of-the-art image-to-image translation methods. The results of both quantitative analysis and qualitative visual inspection indicate that MITIA achieves superior performance compared to the competing state-of-the-art methods, both on misaligned data and aligned data.
• Abstract（参考訳）: 現在の主流のマルチモーダル医療画像から画像への変換法には矛盾がある。 優れた性能を持つ改善された手法は、モデル最適化を制限するためにピクセルワイドなトレーニングデータに依存している。 しかし,画素対応のマルチモーダル医用画像データセットの取得は困難である。 教師なしの方法はペアデータなしで訓練できるが、信頼性は保証できない。 現在、画素ワイドなデータを必要とせず、信頼性の高い翻訳結果を生成できるマルチモーダルな医用画像画像画像変換法は存在しない。 本研究の目的は、画素ワイド・アライメント・データ(MIIA)に依存しない新しい医用画像から画像への変換モデルを開発することである。 提案モデルでは,マルチモーダルな医用画像登録モジュールとマルチモーダルな誤認識検出モジュールから構成される事前抽出ネットワークを用いて,誤認識誤りのあるトレーニングデータから画素レベルの事前情報を最大範囲まで抽出する。 抽出した事前情報を用いて、教師なしサイクル一貫性GANモデルの最適化を制約し、その解空間を制限し、ジェネレータの性能と信頼性を向上させるために正規化項を構築する。 我々は、異なるミスアライメントエラーと2つのよく整列したデータセットを含む6つのデータセットを使用して、MITIAモデルをトレーニングした。 その後,提案手法を他の6種類の画像から画像への翻訳手法と比較した。 定量的解析と定性的視覚検査の両方の結果から,MITIAは,非整合データと整合データの両方において,競合する最先端手法と比較して優れた性能を発揮することが示された。

関連論文リスト

• MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
  本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。 離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。 MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T17:57:18Z)
• Cascaded Multi-path Shortcut Diffusion Model for Medical Image Translation [26.67518950976257]
  高品質な医用画像翻訳と不確実性推定のためのカスケードマルチパスショートカット拡散モデル(CMDM)を提案する。 実験の結果,CMDMは最先端の手法に匹敵する高品質な翻訳を実現できることがわかった。
  論文  参考訳（メタデータ） (2024-04-06T03:02:47Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• UVCGAN v2: An Improved Cycle-Consistent GAN for Unpaired Image-to-Image Translation [10.689788782893096]
  I2I (unpaired image-to-image) 翻訳技術は、完全に教師なしの方法で2つのデータ領域間のマッピングを求める。 DMはFrechet distance(FID)の観点からI2I翻訳ベンチマークの最先端を保っている この研究は、最近のUVCGANモデルを改善し、モデルアーキテクチャとトレーニング手順の近代化に資する。
  論文  参考訳（メタデータ） (2023-03-28T19:46:34Z)
• Semi-Supervised Image Captioning by Adversarially Propagating Labeled Data [95.0476489266988]
  本稿では、画像キャプションモデルの一般化を改善するための、新しいデータ効率半教師付きフレームワークを提案する。 提案手法は,キャプタにペアデータから学習し,段階的に未ペアデータの関連付けを行うよう訓練する。 1)画像ベースと(2)高密度領域ベースキャプションデータセットの両方を総合的かつ包括的な実験結果とし,それに続いて,少ないペアリングデータセットの包括的分析を行った。
  論文  参考訳（メタデータ） (2023-01-26T15:25:43Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• Beyond Triplet: Leveraging the Most Data for Multimodal Machine Translation [53.342921374639346]
  マルチモーダル機械翻訳は、視覚などの他のモーダルからの情報を取り入れることで、翻訳品質を向上させることを目的としている。 従来のMMTシステムは主に視覚情報へのアクセスと利用に重点を置いており、画像関連データセット上でそれらの手法を検証する傾向がある。 本稿では,MTのための新しい手法と新しいデータセットを確立する。
  論文  参考訳（メタデータ） (2022-12-20T15:02:38Z)
• Unsupervised Multi-Modal Medical Image Registration via Discriminator-Free Image-to-Image Translation [4.43142018105102]
  本稿では,複数モーダル登録問題をモノモーダル画像に変換するための,新しい翻訳に基づく教師なしデフォルマブル画像登録手法を提案する。 提案手法では,登録ネットワークのトレーニングを容易にするために,識別不要な翻訳ネットワークと,オブジェクトの形状を保たせるためのパッチワイドなコントラスト損失が組み込まれている。
  論文  参考訳（メタデータ） (2022-04-28T17:18:21Z)
• Dual Contrastive Learning for Unsupervised Image-to-Image Translation [16.759958400617947]
  unsupervised image-to-image translationタスクは、非ペアトレーニングデータからソースドメインxとターゲットドメインyとのマッピングを見つけることを目的としている。 画像対画像翻訳におけるコントラスト学習は最先端の成果をもたらす。 本論文では, 対比学習に基づく新しい手法と, 対比データ間の効率的なマッピングを推定するデュアルラーニング設定を提案する。
  論文  参考訳（メタデータ） (2021-04-15T18:00:22Z)
• Flow-based Deformation Guidance for Unpaired Multi-Contrast MRI Image-to-Image Translation [7.8333615755210175]
  本稿では,非可逆的アーキテクチャに基づく画像と画像の非対角変換に対する新しいアプローチを提案する。 我々は、連続スライス間の時間的情報を利用して、不適切な医療画像において、あるドメインを別のドメインに変換する最適化により多くの制約を与える。
  論文  参考訳（メタデータ） (2020-12-03T09:10:22Z)
• Improved Slice-wise Tumour Detection in Brain MRIs by Computing Dissimilarities between Latent Representations [68.8204255655161]
  磁気共鳴画像(MRI)の異常検出は教師なし手法で行うことができる。 本研究では,変分オートエンコーダの潜伏空間における相似関数の計算に基づいて,腫瘍検出のためのスライスワイズ半教師法を提案する。 本研究では,高解像度画像上でのモデルをトレーニングし,再現の質を向上させることにより,異なるベースラインに匹敵する結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-24T14:02:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。