論文の概要: MuTri: Multi-view Tri-alignment for OCT to OCTA 3D Image Translation

• arxiv url: http://arxiv.org/abs/2504.01428v1
• Date: Wed, 02 Apr 2025 07:28:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:24:27.842946
• Title: MuTri: Multi-view Tri-alignment for OCT to OCTA 3D Image Translation
• Title（参考訳）: MuTri: OCTからOCTA 3D画像翻訳のためのマルチビュートリアライメント
• Authors: Zhuangzhuang Chen, Hualiang Wang, Chubin Ou, Xiaomeng Li,
• Abstract要約: 我々は,OCTからOCTAの3次元画像変換を離散的かつ有限な空間で行うための多視点トリアライメントフレームワーク MuTri を提案する。 また,OCTとOCTAの1対のボリュームを含むOCTA2024という,最初の大規模データセットも収集した。
• 参考スコア（独自算出の注目度）: 8.48045976269756
• License:
• Abstract: Optical coherence tomography angiography (OCTA) shows its great importance in imaging microvascular networks by providing accurate 3D imaging of blood vessels, but it relies upon specialized sensors and expensive devices. For this reason, previous works show the potential to translate the readily available 3D Optical Coherence Tomography (OCT) images into 3D OCTA images. However, existing OCTA translation methods directly learn the mapping from the OCT domain to the OCTA domain in continuous and infinite space with guidance from only a single view, i.e., the OCTA project map, resulting in suboptimal results. To this end, we propose the multi-view Tri-alignment framework for OCT to OCTA 3D image translation in discrete and finite space, named MuTri. In the first stage, we pre-train two vector-quantized variational auto-encoder (VQ- VAE) by reconstructing 3D OCT and 3D OCTA data, providing semantic prior for subsequent multi-view guidances. In the second stage, our multi-view tri-alignment facilitates another VQVAE model to learn the mapping from the OCT domain to the OCTA domain in discrete and finite space. Specifically, a contrastive-inspired semantic alignment is proposed to maximize the mutual information with the pre-trained models from OCT and OCTA views, to facilitate codebook learning. Meanwhile, a vessel structure alignment is proposed to minimize the structure discrepancy with the pre-trained models from the OCTA project map view, benefiting from learning the detailed vessel structure information. We also collect the first large-scale dataset, namely, OCTA2024, which contains a pair of OCT and OCTA volumes from 846 subjects.
• Abstract（参考訳）: 光コヒーレンストモグラフィアンギオグラフィー(OCTA)は、血管の正確な3Dイメージングを提供することで、微小血管網のイメージングにおいて非常に重要であるが、特殊なセンサーや高価なデバイスに依存している。 このため、従来の研究では、利用可能な3D光コヒーレンス・トモグラフィー(OCT)画像を3D OCTA画像に変換する可能性を示している。 しかし、既存のOCTA変換法は、OCTAプロジェクトマップ(英語版)という単一のビューのみから、連続かつ無限の空間においてOCTAドメインからOCTAドメインへのマッピングを直接学習し、最適以下の結果をもたらす。 そこで本研究では,OCT から OCTA 3D 画像への離散的かつ有限な変換を行うための多視点トリオアライメントフレームワーク MuTri を提案する。 最初の段階では、3D OCTと3D OCTAデータを再構成してベクトル量子化された2つの変分自動エンコーダ(VQ-VAE)を事前訓練し、その後のマルチビューガイダンスに先立って意味を与える。 第2段階において、我々の多視点三配位は、別のVQVAEモデルにより、OCT領域からOCTA領域への離散かつ有限空間での写像を学習する。 具体的には、OCTおよびOCTAビューからの事前学習されたモデルとの相互情報を最大化し、コードブック学習を容易にするために、コントラストにインスパイアされたセマンティックアライメントを提案する。 一方,OCTAプロジェクトマップから得られた事前学習モデルと構造差を最小限に抑えるために,船体構造アライメントを提案する。 また,OCTとOCTAの1対のボリュームを含むOCTA2024という,最初の大規模データセットも収集した。

関連論文リスト

• SS-CTML: Self-Supervised Cross-Task Mutual Learning for CT Image Reconstruction [14.197733437855169]
  X線CT(Computerd Tomography)画像再構成において,ペアトレーニングデータセットを用いたSDL(Supervised Deep-learning)技術が広く研究されている。 画像再構成のための自己教師型クロスタスク相互学習(SS-CTML)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-31T04:32:46Z)
• The Quest for Early Detection of Retinal Disease: 3D CycleGAN-based Translation of Optical Coherence Tomography into Confocal Microscopy [11.321411104729002]
  生体内OCTを生体内共焦点顕微鏡画像に変換するために, 教師なし3D CycleGANに基づく新しいフレームワークを提案する。 これは、OCTの固有の3D情報を利用して、共焦点顕微鏡のリッチで詳細な色領域に変換する最初の試みである。
  論文  参考訳（メタデータ） (2024-08-07T21:13:49Z)
• CoCPF: Coordinate-based Continuous Projection Field for Ill-Posed Inverse Problem in Imaging [78.734927709231]
  スパース・ビュー・コンピュート・トモグラフィー(SVCT)の再構成は,スパース・サンプリングによるCT画像の取得を目的としている。 暗黙的な神経表現(INR)技術は、不備のため、その分野に「かなりの穴」(すなわち、未モデル化空間)を残し、準最適結果をもたらす可能性がある。 SVCT再構成のためのホールフリー表現場を構築することを目的としたコーディネート型連続射影場(CoCPF)を提案する。
  論文  参考訳（メタデータ） (2024-06-21T08:38:30Z)
• RadGenome-Chest CT: A Grounded Vision-Language Dataset for Chest CT Analysis [56.57177181778517]
  RadGenome-Chest CTはCT-RATEに基づく大規模3次元胸部CT解釈データセットである。 私たちは、最新の強力なユニバーサルセグメンテーションと大きな言語モデルを活用して、元のデータセットを拡張します。
  論文  参考訳（メタデータ） (2024-04-25T17:11:37Z)
• CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
  我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。 本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
  論文  参考訳（メタデータ） (2024-04-23T17:59:01Z)
• Developing Generalist Foundation Models from a Multimodal Dataset for 3D Computed Tomography [1.8424705673580284]
  我々は3次元医用画像と対応するテキストレポートとをマッチングする最初のデータセットであるCT-RATEを紹介する。 我々はCTに焦点を当てたコントラスト言語画像事前学習フレームワークであるCT-CLIPを開発した。 我々は3次元胸部CTボリュームのための視覚言語基礎チャットモデルであるCT-CHATを作成する。
  論文  参考訳（メタデータ） (2024-03-26T16:19:56Z)
• RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation [50.35403070279804]
  マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。 本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
  論文  参考訳（メタデータ） (2023-12-19T03:39:56Z)
• Multi-View Vertebra Localization and Identification from CT Images [57.56509107412658]
  我々は,CT画像からの多視点椎体局在と同定を提案する。 本研究では,3次元問題を異なる視点における2次元局所化および識別タスクに変換する。 本手法は,多視点グローバル情報を自然に学習することができる。
  論文  参考訳（メタデータ） (2023-07-24T14:43:07Z)
• Vessel-Promoted OCT to OCTA Image Translation by Heuristic Contextual Constraints [28.715207556565638]
  利用可能な3次元光コヒーレンス・トモグラフィー画像から3次元OCTA画像へ変換するTransProと呼ばれる新しい手法を提案する。 当社のTransProメソッドは,従来から見過ごされてきた2つの新しいアイデアが中心です。 2つのデータセットの実験結果から、TransProは最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-03-13T01:42:29Z)
• Weakly Supervised Volumetric Image Segmentation with Deformed Templates [80.04326168716493]
  対象対象物の表面にスパースな3次元点のセットのみを提供する必要があるという意味で、真に弱い教師付きアプローチを提案する。 監督コストの削減により、3Dの弱スーパービジョンに対する従来のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-07T22:09:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。