論文の概要: General Purpose Image Encoder DINOv2 for Medical Image Registration

• arxiv url: http://arxiv.org/abs/2402.15687v1
• Date: Sat, 24 Feb 2024 02:15:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 17:31:57.240863
• Title: General Purpose Image Encoder DINOv2 for Medical Image Registration
• Title（参考訳）: 医用画像登録のための汎用画像エンコーダdinov2
• Authors: Xinrui Song, Xuanang Xu, Pingkun Yan
• Abstract要約: 本稿では、画像特徴抽出のための汎用画像エンコーダDINOv2を活用する、トレーニング不要な変形可能な画像登録手法DINO-Regを提案する。 我々の知る限り、医用画像登録における一般ビジョン基盤モデルの適用はこれが初めてである。
• 参考スコア（独自算出の注目度）: 11.148125068936434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing medical image registration algorithms rely on either dataset specific training or local texture-based features to align images. The former cannot be reliably implemented without large modality-specific training datasets, while the latter lacks global semantics thus could be easily trapped at local minima. In this paper, we present a training-free deformable image registration method, DINO-Reg, leveraging a general purpose image encoder DINOv2 for image feature extraction. The DINOv2 encoder was trained using the ImageNet data containing natural images. We used the pretrained DINOv2 without any finetuning. Our method feeds the DINOv2 encoded features into a discrete optimizer to find the optimal deformable registration field. We conducted a series of experiments to understand the behavior and role of such a general purpose image encoder in the application of image registration. Combined with handcrafted features, our method won the first place in the recent OncoReg Challenge. To our knowledge, this is the first application of general vision foundation models in medical image registration.
• Abstract（参考訳）: 既存の医療画像登録アルゴリズムは、画像を調整するためにデータセット固有のトレーニングまたはローカルテクスチャベースの機能に依存している。 前者は大きなモダリティ固有のトレーニングデータセットなしでは確実に実装できないが、後者はグローバルセマンティクスを欠いているため、ローカルなミニマで簡単に捕捉できる。 本稿では,画像特徴抽出のための汎用画像エンコーダDINOv2を活用する,トレーニング不要な変形可能な画像登録手法DINO-Regを提案する。 DINOv2エンコーダは、自然画像を含むImageNetデータを使って訓練された。 DINOv2を微調整なしで使用した。 提案手法は,DINOv2符号化された特徴を離散最適化器に供給し,最適な変形可能な登録フィールドを求める。 我々は,画像登録の応用において,このような汎用画像エンコーダの動作と役割を理解するために,一連の実験を行った。 最近のOncoReg Challengeでは,手作りの特徴と組み合わせて,本手法が第一位となった。 我々の知る限り、医療画像登録における一般ビジョン基礎モデルの初めての応用である。

関連論文リスト

• UNIT: Unifying Image and Text Recognition in One Vision Encoder [51.140564856352825]
  UNITは、単一のモデル内で画像とテキストの認識を統一することを目的とした、新しいトレーニングフレームワークである。 文書関連タスクにおいて,UNITが既存の手法を著しく上回ることを示す。 注目すべきなのは、UNITはオリジナルのビジョンエンコーダアーキテクチャを保持しており、推論とデプロイメントの点で費用がかからないことだ。
  論文  参考訳（メタデータ） (2024-09-06T08:02:43Z)
• General Vision Encoder Features as Guidance in Medical Image Registration [3.7713533540423785]
  医用画像登録における異種度指標において,一般的な視覚エンコーダの特徴がどの程度有効かを検討する。 心血管MRIデータに関する広範な実験では、従来の指標の付加的なガイダンスとして機能を使用することで、登録品質が向上することが判明した。
  論文  参考訳（メタデータ） (2024-07-18T09:13:34Z)
• Neuromorphic Synergy for Video Binarization [54.195375576583864]
  バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。 ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。 本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。 また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
  論文  参考訳（メタデータ） (2024-02-20T01:43:51Z)
• ABN: Anti-Blur Neural Networks for Multi-Stage Deformable Image Registration [20.054872823030454]
  変形可能な画像登録は、ニューロイメージングのための重要な前処理ステップとして機能する。 マルチステージ画像登録のための新しい解として,アンチブルネットワーク (ABN) を提案する。
  論文  参考訳（メタデータ） (2022-12-06T19:21:43Z)
• Non-iterative Coarse-to-fine Registration based on Single-pass Deep Cumulative Learning [11.795108660250843]
  変形可能な画像登録のための非Iterative Coarse-to-finE登録ネットワーク(NICE-Net)を提案する。 NICE-Netは、非イテレーティブメソッドと同じようなランタイムしか必要とせず、最先端の反復的な深層登録手法より優れている。
  論文  参考訳（メタデータ） (2022-06-25T08:34:59Z)
• Neural Data-Dependent Transform for Learned Image Compression [72.86505042102155]
  ニューラルデータに依存した変換を構築し,各画像の符号化効率を最適化する連続オンラインモード決定機構を導入する。 実験の結果,提案したニューラルシンタクス設計と連続オンラインモード決定機構の有効性が示された。
  論文  参考訳（メタデータ） (2022-03-09T14:56:48Z)
• Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
  Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2021-11-11T18:46:40Z)
• CAR-Net: Unsupervised Co-Attention Guided Registration Network for Joint Registration and Structure Learning [73.03885837923599]
  我々は,新しい深層学習ネットワークCAR-Net(Co-Attention Guided Registration Network)を提案する。 CAR-Netはコアテンションブロックを用いて入力の新しい表現を学習し、固定画像と移動画像の登録を駆動する。 イギリスバイオバンクの心臓磁気共鳴画像データを用いた実験により、CAR-Netは最先端の教師なし登録法よりも高い登録精度とスムーズな変形場が得られることが示された。
  論文  参考訳（メタデータ） (2021-06-11T23:25:49Z)
• Image Restoration by Deep Projected GSURE [115.57142046076164]
  Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。 本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T08:52:46Z)
• FDRN: A Fast Deformable Registration Network for Medical Images [3.3504365823045044]
  本稿では,高速な畳み込みニューラルネットワークを提案する。 FDRNは、コンパクトなネットワーク構造と効率的な学習により、既存の脳MR画像の最先端登録方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-04T14:09:51Z)
• DeepFLASH: An Efficient Network for Learning-based Medical Image Registration [8.781861951759948]
  DeepFLASHは、学習に基づく医用画像登録のための効率的なトレーニングと推論を行う新しいネットワークである。 我々は2次元合成データと3次元実脳磁気共鳴(MR)画像の2つの異なる画像登録法でアルゴリズムを実証した。
  論文  参考訳（メタデータ） (2020-04-05T05:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。