論文の概要: From Real Artifacts to Virtual Reference: A Robust Framework for Translating Endoscopic Images
- arxiv url: http://arxiv.org/abs/2410.13896v2
- Date: Wed, 23 Oct 2024 13:01:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-24 13:51:55.469695
- Title: From Real Artifacts to Virtual Reference: A Robust Framework for Translating Endoscopic Images
- Title(参考訳): 実物から仮想参照へ:内視鏡画像の翻訳のためのロバストフレームワーク
- Authors: Junyang Wu, Fangfang Xie, Jiayuan Sun, Yun Gu, Guang-Zhong Yang,
- Abstract要約: 内視鏡的画像検査では,術前データと術中画像の併用が手術計画やナビゲーションに重要である。
既存のドメイン適応法は、生体内アーティファクトによる分布シフトによって妨げられる。
本稿では,アーチファクト・レジリエントな画像翻訳手法とそれに関連するベンチマークを提案する。
- 参考スコア(独自算出の注目度): 27.230439605570812
- License:
- Abstract: Domain adaptation, which bridges the distributions across different modalities, plays a crucial role in multimodal medical image analysis. In endoscopic imaging, combining pre-operative data with intra-operative imaging is important for surgical planning and navigation. However, existing domain adaptation methods are hampered by distribution shift caused by in vivo artifacts, necessitating robust techniques for aligning noisy and artifact abundant patient endoscopic videos with clean virtual images reconstructed from pre-operative tomographic data for pose estimation during intraoperative guidance. This paper presents an artifact-resilient image translation method and an associated benchmark for this purpose. The method incorporates a novel ``local-global'' translation framework and a noise-resilient feature extraction strategy. For the former, it decouples the image translation process into a local step for feature denoising, and a global step for global style transfer. For feature extraction, a new contrastive learning strategy is proposed, which can extract noise-resilient features for establishing robust correspondence across domains. Detailed validation on both public and in-house clinical datasets has been conducted, demonstrating significantly improved performance compared to the current state-of-the-art.
- Abstract(参考訳): 異なるモダリティにまたがる分布をブリッジするドメイン適応は、マルチモーダルな医療画像解析において重要な役割を果たす。
内視鏡的画像検査では,術前データと術中画像の併用が手術計画やナビゲーションに重要である。
しかし, 既存の領域適応法は, 生体内アーティファクトによる分布変化によって阻害され, 術中誘導時のポーズ推定のために, 術中トモグラフィーデータから再構成したクリーンな仮想画像と, ノイズやアーティファクトの豊富な内視鏡的映像を整列させる頑健な技術が必要とされる。
本稿では,アーチファクト・レジリエントな画像翻訳手法とそれに関連するベンチマークを提案する。
この手法は,新しい「ローカル・グローバル」翻訳フレームワークと雑音耐性特徴抽出戦略を取り入れたものである。
前者にとって、画像翻訳プロセスは、特徴記述のための局所的なステップと、グローバルなスタイル転送のためのグローバルなステップに分離する。
特徴抽出のために、ドメイン間の堅牢な対応を確立するために、雑音耐性のある特徴を抽出できる新しいコントラスト学習戦略を提案する。
公立および社内臨床データセットの詳細な検証が実施され、現在の最先端技術と比較すると、パフォーマンスが著しく向上した。
関連論文リスト
- Intraoperative Registration by Cross-Modal Inverse Neural Rendering [61.687068931599846]
クロスモーダル逆ニューラルレンダリングによる神経外科手術における術中3D/2Dレジストレーションのための新しいアプローチを提案する。
本手法では,暗黙の神経表現を2つの構成要素に分離し,術前および術中における解剖学的構造について検討した。
臨床症例の振り返りデータを用いて本法の有効性を検証し,現在の登録基準を満たした状態での最先端の検査成績を示した。
論文 参考訳(メタデータ) (2024-09-18T13:40:59Z) - Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。
特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。
拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
論文 参考訳(メタデータ) (2024-06-26T17:40:30Z) - CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。
ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。
我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
論文 参考訳(メタデータ) (2024-03-21T15:13:36Z) - A2V: A Semi-Supervised Domain Adaptation Framework for Brain Vessel Segmentation via Two-Phase Training Angiography-to-Venography Translation [4.452428104996953]
画像の異なる脳血管セグメンテーションのための半教師付きドメイン適応フレームワークを提案する。
本フレームワークは,注釈付血管造影と限られた数の血管造影に頼り,画像から画像への翻訳とセマンティックセグメンテーションを実現する。
論文 参考訳(メタデータ) (2023-09-12T09:12:37Z) - Domain Adaptive Sim-to-Real Segmentation of Oropharyngeal Organs [14.723143613743211]
経口的気管挿管(TI)は内視鏡を用いて必要であり、鼻腔の代わりに気管を喉頭に挿入するのに役立つ。
咽頭臓器の実在は、限られたオープンソースデータと患者のプライバシーのためにアクセスできないことが多い。
IoU-Ranking Blend-ArtFlow (IRB-AF) と呼ばれるドメイン適応型Sim-to-Realフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-18T11:25:23Z) - Unsupervised Domain Transfer with Conditional Invertible Neural Networks [83.90291882730925]
条件付き可逆ニューラルネットワーク(cINN)に基づくドメイン転送手法を提案する。
提案手法は本質的に,その可逆的アーキテクチャによるサイクル一貫性を保証し,ネットワークトレーニングを最大限効率的に行うことができる。
提案手法は,2つの下流分類タスクにおいて,現実的なスペクトルデータの生成を可能にし,その性能を向上する。
論文 参考訳(メタデータ) (2023-03-17T18:00:27Z) - Orientation-Shared Convolution Representation for CT Metal Artifact
Learning [63.67718355820655]
X線CT(CT)スキャン中、患者を乗せた金属インプラントは、しばしば有害なアーティファクトに繋がる。
既存のディープラーニングベースの手法は、有望な再構築性能を得た。
本稿では,人工物の物理的事前構造に適応するために,配向型畳み込み表現戦略を提案する。
論文 参考訳(メタデータ) (2022-12-26T13:56:12Z) - ScoreNet: Learning Non-Uniform Attention and Augmentation for
Transformer-Based Histopathological Image Classification [11.680355561258427]
高解像度画像はデジタル病理の進歩を妨げる。
パッチベースの処理は、しばしば複数のインスタンス学習(MIL)を組み込んで、画像レベルの予測をもたらす局所的なパッチレベルの表現を集約する。
本稿では,組織像分類に適したトランスフォーマーアーキテクチャを提案する。
局所的なきめ細かな注意と粗いグローバルな注意機構を組み合わせることで、高解像度画像の意味的な表現を効率的な計算コストで学習する。
論文 参考訳(メタデータ) (2022-02-15T16:55:09Z) - Semantic segmentation of multispectral photoacoustic images using deep
learning [53.65837038435433]
光音響イメージングは医療に革命をもたらす可能性がある。
この技術の臨床的翻訳には、高次元取得したデータを臨床的に関連性があり解釈可能な情報に変換する必要がある。
本稿では,多スペクトル光音響画像のセマンティックセグメンテーションに対する深層学習に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2021-05-20T09:33:55Z) - Content-Preserving Unpaired Translation from Simulated to Realistic
Ultrasound Images [12.136874314973689]
本稿では,シミュレーション画像と実画像の出現ギャップを橋渡しする新しい画像翻訳フレームワークを提案する。
この目的を達成するために,シミュレートされた画像とセマンティックセグメンテーションを併用する。
論文 参考訳(メタデータ) (2021-03-09T22:35:43Z) - Self-Attentive Spatial Adaptive Normalization for Cross-Modality Domain
Adaptation [9.659642285903418]
放射線科医の費用負担を軽減するための医用画像のクロスモダリティ合成
本稿では,教師なしまたは教師なし(非ペア画像データ)の設定が可能な医用画像における画像から画像への変換手法を提案する。
論文 参考訳(メタデータ) (2021-03-05T16:22:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。