論文の概要: MeshBrush: Painting the Anatomical Mesh with Neural Stylization for Endoscopy
- arxiv url: http://arxiv.org/abs/2404.02999v1
- Date: Wed, 3 Apr 2024 18:40:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 18:44:36.524850
- Title: MeshBrush: Painting the Anatomical Mesh with Neural Stylization for Endoscopy
- Title(参考訳): MeshBrush: 内視鏡のための神経スチル化による解剖学的メッシュの塗装
- Authors: John J. Han, Ayberk Acar, Nicholas Kavoussi, Jie Ying Wu,
- Abstract要約: スタイルトランスファーは、医療内視鏡におけるシミュレートとリアルのギャップを埋めるための有望なアプローチである。
手術前のスキャンでリアルな内視鏡映像をレンダリングすると、リアルなシミュレーションや、地上の真相カメラのポーズ、深度マップが生成される。
本稿では、時間的に一貫した動画を異なるレンダリングで合成するニューラルネットワークスタイリング手法であるMeshBrushを提案する。
- 参考スコア(独自算出の注目度): 0.8437187555622164
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Style transfer is a promising approach to close the sim-to-real gap in medical endoscopy. Rendering realistic endoscopic videos by traversing pre-operative scans (such as MRI or CT) can generate realistic simulations as well as ground truth camera poses and depth maps. Although image-to-image (I2I) translation models such as CycleGAN perform well, they are unsuitable for video-to-video synthesis due to the lack of temporal consistency, resulting in artifacts between frames. We propose MeshBrush, a neural mesh stylization method to synthesize temporally consistent videos with differentiable rendering. MeshBrush uses the underlying geometry of patient imaging data while leveraging existing I2I methods. With learned per-vertex textures, the stylized mesh guarantees consistency while producing high-fidelity outputs. We demonstrate that mesh stylization is a promising approach for creating realistic simulations for downstream tasks such as training and preoperative planning. Although our method is tested and designed for ureteroscopy, its components are transferable to general endoscopic and laparoscopic procedures.
- Abstract(参考訳): スタイルトランスファーは、医療内視鏡におけるシミュレートとリアルのギャップを埋めるための有望なアプローチである。
手術前スキャン(MRIやCTなど)をトラバースすることで、リアルな内視鏡映像をレンダリングすることで、現実的なシミュレーションや、地上の真相カメラのポーズや深度マップを生成することができる。
CycleGANのようなイメージ・ツー・イメージ(I2I)翻訳モデルはよく機能するが、時間的一貫性の欠如によりビデオ・ツー・ビデオ合成には適さないため、フレーム間のアーティファクトが生じる。
本稿では、時間的に一貫した動画を異なるレンダリングで合成するニューラルネットワークスタイリング手法であるMeshBrushを提案する。
MeshBrushは、既存のI2Iメソッドを活用しながら、患者の画像データの基礎となる幾何学を使用している。
学習した頂点ごとのテクスチャにより、スタイリングされたメッシュは、高忠実度出力を生成しながら一貫性を保証する。
我々は、メッシュスタイリングが、トレーニングや事前作業計画といった下流タスクの現実的なシミュレーションを作成するための有望なアプローチであることを実証した。
本手法は尿管内視鏡検査に応用できるが, 一般的な内視鏡および腹腔鏡下手術に応用できる。
関連論文リスト
- Efficient Data-driven Scene Simulation using Robotic Surgery Videos via Physics-embedded 3D Gaussians [19.590481146949685]
立体内視鏡画像から3D Gaussianを学習可能な手術シーンの表現として紹介する。
本研究では3次元ガウスに物理特性を統合したマテリアルポイント法を適用し,現実的なシーン変形を実現する。
以上の結果から,内視鏡的画像から外科的シーンを効率的に再構成し,シミュレートし,外科的シーンを再構築するのにほんの数分しか要しないことが明らかとなった。
論文 参考訳(メタデータ) (2024-05-02T02:34:19Z) - Endora: Video Generation Models as Endoscopy Simulators [53.72175969751398]
本稿では,臨床内視鏡シーンをシミュレートする医用ビデオを作成するための革新的な手法であるモデルを紹介する。
また、ビデオ生成モデルを用いた内視鏡シミュレーションのための最初の公開ベンチマークを開拓した。
Endoraは、臨床内視鏡研究のための生成AIの展開において、注目すべきブレークスルーとなる。
論文 参考訳(メタデータ) (2024-03-17T00:51:59Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳(メタデータ) (2023-11-30T21:34:44Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳(メタデータ) (2023-10-26T16:13:00Z) - Shape Reconstruction from Thoracoscopic Images using Self-supervised
Virtual Learning [2.4493299476776778]
内視鏡画像からの臓器の術中形状再構成は,画像ガイド下手術には複雑だが必須である。
シミュレーション画像と実画像間の共通潜時変数を用いた画像変換を用いた形状再構成の仮想学習フレームワークを提案する。
本研究では,胸腔鏡画像から崩壊肺の形状復元を目標とし,仮想学習が実画像と模擬画像の類似性を改善することを確認した。
論文 参考訳(メタデータ) (2023-01-25T23:08:41Z) - Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。
2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
論文 参考訳(メタデータ) (2022-11-22T18:59:50Z) - Realistic Endoscopic Image Generation Method Using Virtual-to-real
Image-domain Translation [1.1580916951856253]
内視鏡シミュレーションシステムのための現実的な画像生成手法を提案する。
患者のCTボリュームからボリュームレンダリング法を用いて仮想内視鏡画像を生成する。
仮想領域変換技術を用いて,仮想内視鏡画像の現実性を向上させる。
論文 参考訳(メタデータ) (2022-01-13T12:18:51Z) - A parameter refinement method for Ptychography based on Deep Learning
concepts [55.41644538483948]
伝播距離、位置誤差、部分的コヒーレンスにおける粗いパラメトリゼーションは、しばしば実験の生存性を脅かす。
最新のDeep Learningフレームワークは、セットアップの不整合を自律的に補正するために使用され、ポチコグラフィーの再構築の質が向上する。
我々は,elettra シンクロトロン施設のツインミックビームラインで取得した合成データセットと実データの両方でシステムをテストした。
論文 参考訳(メタデータ) (2021-05-18T10:15:17Z) - Long-Term Temporally Consistent Unpaired Video Translation from
Simulated Surgical 3D Data [0.059110875077162096]
本稿では,画像翻訳とニューラルレンダリングを併用して,写真リアルな腹部手術シーンにシミュレートする手法を提案する。
グローバル学習可能なテクスチャと照明不変のビューコンシスタンス損失を導入することにより,任意のビューの一貫した翻訳を生成する。
既存の画像ベース手法をビュー一貫性ビデオに拡張することにより,シミュレートされたトレーニングおよび手術用評価環境の適用性に影響を与えることを目指す。
論文 参考訳(メタデータ) (2021-03-31T16:31:26Z) - Learning Ultrasound Rendering from Cross-Sectional Model Slices for
Simulated Training [13.640630434743837]
計算シミュレーションは、バーチャルリアリティーにおけるそのようなスキルの訓練を容易にする。
インタラクティブな時間に任意のレンダリングやシミュレーションプロセスをバイパスするためにここに提案します。
我々は、専用のジェネレータアーキテクチャと入力供給方式を備えた生成的対向フレームワークを使用する。
論文 参考訳(メタデータ) (2021-01-20T21:58:19Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳(メタデータ) (2020-06-29T12:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。