論文の概要: MeshBrush: Painting the Anatomical Mesh with Neural Stylization for Endoscopy
- arxiv url: http://arxiv.org/abs/2404.02999v2
- Date: Mon, 9 Sep 2024 17:33:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 03:02:27.787936
- Title: MeshBrush: Painting the Anatomical Mesh with Neural Stylization for Endoscopy
- Title(参考訳): MeshBrush: 内視鏡のための神経スチル化による解剖学的メッシュの塗装
- Authors: John J. Han, Ayberk Acar, Nicholas Kavoussi, Jie Ying Wu,
- Abstract要約: スタイルトランスファーは、医療内視鏡におけるシミュレートとリアルのギャップを埋めるための有望なアプローチである。
術前スキャンによって合成内視鏡ビデオをレンダリングすると、構造的に正確なシミュレーションが生成される。
CycleGANはこれらのシミュレーションから現実的な内視鏡像を模倣することができるが、ビデオとビデオの合成には適さない。
時間的に一貫した映像を合成するニューラルネットワークスタイリング手法であるMeshBrushを提案する。
- 参考スコア(独自算出の注目度): 0.8437187555622164
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Style transfer is a promising approach to close the sim-to-real gap in medical endoscopy. Rendering synthetic endoscopic videos by traversing pre-operative scans (such as MRI or CT) can generate structurally accurate simulations as well as ground truth camera poses and depth maps. Although image-to-image (I2I) translation models such as CycleGAN can imitate realistic endoscopic images from these simulations, they are unsuitable for video-to-video synthesis due to the lack of temporal consistency, resulting in artifacts between frames. We propose MeshBrush, a neural mesh stylization method to synthesize temporally consistent videos with differentiable rendering. MeshBrush uses the underlying geometry of patient imaging data while leveraging existing I2I methods. With learned per-vertex textures, the stylized mesh guarantees consistency while producing high-fidelity outputs. We demonstrate that mesh stylization is a promising approach for creating realistic simulations for downstream tasks such as training networks and preoperative planning. Although our method is tested and designed for ureteroscopy, its components are transferable to general endoscopic and laparoscopic procedures. The code will be made public on GitHub.
- Abstract(参考訳): スタイルトランスファーは、医療内視鏡におけるシミュレートとリアルのギャップを埋めるための有望なアプローチである。
術前スキャン(MRIやCTなど)を経た合成内視鏡ビデオのレンダリングは、地上の真理カメラのポーズや深度マップと同様に、構造的に正確なシミュレーションを生成することができる。
CycleGANのようなイメージ・ツー・イメージ(I2I)翻訳モデルは、これらのシミュレーションから現実的な内視鏡像を模倣することができるが、時間的一貫性の欠如によりビデオ・ビデオ合成には適さないため、フレーム間のアーティファクトが生じる。
本稿では、時間的に一貫した動画を異なるレンダリングで合成するニューラルネットワークスタイリング手法であるMeshBrushを提案する。
MeshBrushは、既存のI2Iメソッドを活用しながら、患者の画像データの基礎となる幾何学を使用している。
学習した頂点ごとのテクスチャにより、スタイリングされたメッシュは、高忠実度出力を生成しながら一貫性を保証する。
我々は,メッシュスタイリングが,トレーニングネットワークや事前作業計画といった下流タスクの現実的なシミュレーションを作成する上で,有望なアプローチであることを実証した。
本手法は尿管内視鏡検査に応用できるが, 一般的な内視鏡および腹腔鏡下手術に応用できる。
コードはGitHubで公開される。
関連論文リスト
- EndoSparse: Real-Time Sparse View Synthesis of Endoscopic Scenes using Gaussian Splatting [39.60431471170721]
内視鏡画像からの生体組織の3次元再構成は, 様々な重要な下流外科的応用を3D機能で解き放つ鍵となる。
既存の手法では、ビュー合成に様々な高度なニューラルレンダリング技術を採用しているが、スパースな観察しかできない場合には、正確な3D表現の復元に苦慮することが多い。
再建過程において,複数の基盤モデルから事前の知識を活用するフレームワークを提案し,それをtextitEndoSparse と呼ぶ。
論文 参考訳(メタデータ) (2024-07-01T07:24:09Z) - Efficient Data-driven Scene Simulation using Robotic Surgery Videos via Physics-embedded 3D Gaussians [19.590481146949685]
立体内視鏡画像から3D Gaussianを学習可能な手術シーンの表現として紹介する。
本研究では3次元ガウスに物理特性を統合したマテリアルポイント法を適用し,現実的なシーン変形を実現する。
以上の結果から,内視鏡的画像から外科的シーンを効率的に再構成し,シミュレートし,外科的シーンを再構築するのにほんの数分しか要しないことが明らかとなった。
論文 参考訳(メタデータ) (2024-05-02T02:34:19Z) - Interactive Generation of Laparoscopic Videos with Diffusion Models [1.5488613349551188]
そこで本研究では,外科的動作をテキストで指定することで,現実的な腹腔鏡画像と映像を生成する方法について述べる。
我々は、Colecデータセットファミリを使用して、我々のアプローチの性能を実証する。
我々は38.097のFIDと0.71のF1スコアを達成する。
論文 参考訳(メタデータ) (2024-04-23T12:36:07Z) - Endora: Video Generation Models as Endoscopy Simulators [53.72175969751398]
本稿では,臨床内視鏡シーンをシミュレートする医用ビデオを作成するための革新的な手法であるモデルを紹介する。
また、ビデオ生成モデルを用いた内視鏡シミュレーションのための最初の公開ベンチマークを開拓した。
Endoraは、臨床内視鏡研究のための生成AIの展開において、注目すべきブレークスルーとなる。
論文 参考訳(メタデータ) (2024-03-17T00:51:59Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳(メタデータ) (2023-11-30T21:34:44Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳(メタデータ) (2023-10-26T16:13:00Z) - Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。
2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
論文 参考訳(メタデータ) (2022-11-22T18:59:50Z) - Realistic Endoscopic Image Generation Method Using Virtual-to-real
Image-domain Translation [1.1580916951856253]
内視鏡シミュレーションシステムのための現実的な画像生成手法を提案する。
患者のCTボリュームからボリュームレンダリング法を用いて仮想内視鏡画像を生成する。
仮想領域変換技術を用いて,仮想内視鏡画像の現実性を向上させる。
論文 参考訳(メタデータ) (2022-01-13T12:18:51Z) - A parameter refinement method for Ptychography based on Deep Learning
concepts [55.41644538483948]
伝播距離、位置誤差、部分的コヒーレンスにおける粗いパラメトリゼーションは、しばしば実験の生存性を脅かす。
最新のDeep Learningフレームワークは、セットアップの不整合を自律的に補正するために使用され、ポチコグラフィーの再構築の質が向上する。
我々は,elettra シンクロトロン施設のツインミックビームラインで取得した合成データセットと実データの両方でシステムをテストした。
論文 参考訳(メタデータ) (2021-05-18T10:15:17Z) - Long-Term Temporally Consistent Unpaired Video Translation from
Simulated Surgical 3D Data [0.059110875077162096]
本稿では,画像翻訳とニューラルレンダリングを併用して,写真リアルな腹部手術シーンにシミュレートする手法を提案する。
グローバル学習可能なテクスチャと照明不変のビューコンシスタンス損失を導入することにより,任意のビューの一貫した翻訳を生成する。
既存の画像ベース手法をビュー一貫性ビデオに拡張することにより,シミュレートされたトレーニングおよび手術用評価環境の適用性に影響を与えることを目指す。
論文 参考訳(メタデータ) (2021-03-31T16:31:26Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳(メタデータ) (2020-06-29T12:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。