論文の概要: multiGradICON: A Foundation Model for Multimodal Medical Image Registration

• arxiv url: http://arxiv.org/abs/2408.00221v1
• Date: Thu, 1 Aug 2024 01:23:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 21:55:12.878588
• Title: multiGradICON: A Foundation Model for Multimodal Medical Image Registration
• Title（参考訳）: multiGradICON: マルチモーダル医用画像登録のための基礎モデル
• Authors: Basar Demir, Lin Tian, Thomas Hastings Greer, Roland Kwitt, Francois-Xavier Vialard, Raul San Jose Estepar, Sylvain Bouix, Richard Jarrett Rushmore, Ebrahim Ebrahim, Marc Niethammer,
• Abstract要約: We developed multiGradICON as a first step to universal *multimodal* medical image registration。 1)モノモーダル*および*マルチモーダル登録に適したDL登録モデルをトレーニングし,2)損失関数のランダム化によりマルチモーダル登録精度が向上し,3)マルチモーダルデータを用いたモデルトレーニングがマルチモーダル一般化に役立つことを示す。
• 参考スコア（独自算出の注目度）: 15.174094859157288
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Modern medical image registration approaches predict deformations using deep networks. These approaches achieve state-of-the-art (SOTA) registration accuracy and are generally fast. However, deep learning (DL) approaches are, in contrast to conventional non-deep-learning-based approaches, anatomy-specific. Recently, a universal deep registration approach, uniGradICON, has been proposed. However, uniGradICON focuses on monomodal image registration. In this work, we therefore develop multiGradICON as a first step towards universal *multimodal* medical image registration. Specifically, we show that 1) we can train a DL registration model that is suitable for monomodal *and* multimodal registration; 2) loss function randomization can increase multimodal registration accuracy; and 3) training a model with multimodal data helps multimodal generalization. Our code and the multiGradICON model are available at https://github.com/uncbiag/uniGradICON.
• Abstract（参考訳）: 最新の医用画像登録手法は、ディープネットワークを用いて変形を予測する。 これらの手法は、最先端(SOTA)の登録精度を達成し、一般に高速である。 しかし、ディープラーニング(DL)アプローチは、従来の非深層学習に基づくアプローチとは対照的に、解剖学固有のアプローチである。 近年,UniGradICONという普遍的な深層登録手法が提案されている。 しかし、uniGradICONはモノモダル画像の登録に焦点を当てている。 そこで本研究では,医療画像のユニバーサル化に向けた第一歩として,マルチGradICONを開発した。 具体的には 1) モノモーダル*および*マルチモーダル登録に適したDL登録モデルを訓練することができる。 2 損失関数のランダム化は、マルチモーダル登録の精度を高めることができる。 3)マルチモーダルデータを用いたモデルのトレーニングは、マルチモーダル一般化に役立つ。 私たちのコードとマルチGradICONモデルはhttps://github.com/uncbiag/uniGradICON.comで利用可能です。

関連論文リスト

• Multimodal Autoregressive Pre-training of Large Vision Encoders [85.39154488397931]
  本稿では,汎用視覚エンコーダのファミリーであるAIMV2について述べる。 エンコーダはマルチモーダル評価だけでなく,ローカライゼーションやグラウンド,分類といったビジョンベンチマークでも優れている。
  論文  参考訳（メタデータ） (2024-11-21T18:31:25Z)
• Multi-modal deformable image registration using untrained neural networks [3.0832643041058603]
  本稿では,ニューラルネットワークを用いた画像表現のための登録手法を提案する。 本手法では,登録前の暗黙的な表現能力に制限のある未学習ネットワークを用いる。 特定のデータ型に特化している従来の手法とは異なり、本手法は厳格かつ非厳格であり、シングルモーダルとマルチモーダルの登録を扱う。
  論文  参考訳（メタデータ） (2024-11-04T23:13:32Z)
• Large Language Models for Multimodal Deformable Image Registration [50.91473745610945]
  そこで本研究では,様々な医用画像からの深い特徴の整合を図るために,新しい粗いMDIRフレームワークLLM-Morphを提案する。 具体的には、まずCNNエンコーダを用いて、クロスモーダル画像ペアから深い視覚的特徴を抽出し、次に、最初のアダプタを使ってこれらのトークンを調整する。 第3に、トークンのアライメントのために、他の4つのアダプタを使用して、LLM符号化トークンをマルチスケールの視覚特徴に変換し、マルチスケールの変形場を生成し、粗いMDIRタスクを容易にする。
  論文  参考訳（メタデータ） (2024-08-20T09:58:30Z)
• MyGO: Discrete Modality Information as Fine-Grained Tokens for Multi-modal Knowledge Graph Completion [51.80447197290866]
  MMKGの微細なモダリティ情報を処理・融合・拡張するためにMyGOを導入する。 MyGOは、マルチモーダルな生データをきめ細かい離散トークンとしてトークン化し、クロスモーダルなエンティティエンコーダでエンティティ表現を学習する。 標準MMKGCベンチマーク実験により,本手法が最新の20モデルを上回ることがわかった。
  論文  参考訳（メタデータ） (2024-04-15T05:40:41Z)
• uniGradICON: A Foundation Model for Medical Image Registration [17.23463407622614]
  登録のための基盤モデルに向けた第一歩として,uniGradICONを提案する。 12種類の公開データセットでUniGradICONを広範囲にトレーニングし,評価した。
  論文  参考訳（メタデータ） (2024-03-09T03:26:35Z)
• MAD: Modality Agnostic Distance Measure for Image Registration [14.558286801723293]
  マルチモーダル画像登録は多くの医療応用において重要な前処理ステップである。 画像の固有な幾何学をランダムな畳み込みを用いて学習する手法である、Modality Agnostic Distance (MAD)を提案する。 我々は、MADがマルチモーダル画像のアフィニシャルな登録を成功させるだけでなく、従来の計測値よりも大きなキャプチャ範囲を持つことを実証した。
  論文  参考訳（メタデータ） (2023-09-06T09:59:58Z)
• FormNetV2: Multimodal Graph Contrastive Learning for Form Document Information Extraction [43.17713130538514]
  集中型グラフコントラスト学習戦略を導入し、全てのモダリティに対する自己教師付き事前学習を1つの損失で統一する。 FormNetV2は、よりコンパクトなモデルサイズでFUNSD、CORD、SROIE、Paymentベンチマーク上で、最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2023-05-04T05:02:04Z)
• Learning Multimodal Data Augmentation in Feature Space [65.54623807628536]
  LeMDAは、機能空間におけるマルチモーダルデータを共同で拡張することを自動的に学習する、使い易い方法である。 我々はLeMDAがマルチモーダルディープラーニングアーキテクチャの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:39:36Z)
• i-Code: An Integrative and Composable Multimodal Learning Framework [99.56065789066027]
  i-Codeは、視覚、音声、言語を統一的で汎用的なベクトル表現に柔軟に組み合わせられる自己教師型事前学習フレームワークである。 システム全体は、マスク付きモダリティ・ユニット・モデリングやクロスモダリティ・コントラスト・ラーニングなどの新しい目的により、エンドツーエンドで事前訓練されている。 実験の結果、i-Codeは5つのビデオ理解タスクとGLUE NLPベンチマークで最先端技術を上回る性能を示し、最大11%改善した。
  論文  参考訳（メタデータ） (2022-05-03T23:38:50Z)
• StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis [68.3787368024951]
  マルチモーダルイメージ・ツー・イメージ(I2I)翻訳のための新しいアプローチを提案する。 我々は、出力領域の可変性をモデル化する潜伏埋め込みをジェネレータと共同で学習する。 具体的には、新しいプロキシタスクを用いて汎用的なスタイルエンコーダを事前訓練し、任意のドメインから低次元のスタイル潜在空間への画像の埋め込みを学習する。
  論文  参考訳（メタデータ） (2021-04-14T19:58:24Z)
• Is Image-to-Image Translation the Panacea for Multimodal Image Registration? A Comparative Study [4.00906288611816]
  マルチモーダルバイオメディカル画像登録作業における現代i2i翻訳法の適用性に関する実証研究を行った。 4つのGAN(Generative Adrial Network)ベースの方法と1つのコントラスト表現学習方法のパフォーマンスを比較します。 その結果,I2I翻訳は,登録対象のモダリティが明確に相関している場合には有用であるが,I2I翻訳手法では明らかに異なる特性を示すモダリティの登録が不十分であることが示唆された。
  論文  参考訳（メタデータ） (2021-03-30T11:28:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。