論文の概要: SimuScope: Realistic Endoscopic Synthetic Dataset Generation through Surgical Simulation and Diffusion Models
- arxiv url: http://arxiv.org/abs/2412.02332v1
- Date: Tue, 03 Dec 2024 09:49:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:42:20.520230
- Title: SimuScope: Realistic Endoscopic Synthetic Dataset Generation through Surgical Simulation and Diffusion Models
- Title（参考訳）: SimuScope: 手術シミュレーションと拡散モデルによるリアルな内視鏡的合成データセット生成
- Authors: Sabina Martyniak, Joanna Kaleta, Diego Dall'Alba, Michał Naskręt, Szymon Płotka, Przemysław Korzeniowski,
- Abstract要約: そこで本研究では,最新のCASシステムに必要なアノテーションをすべて自動生成する,本格的な手術シミュレータを提案する。
手術器具と変形可能な解剖学的環境の間の力学を含む、より複雑で現実的な外科的相互作用のシミュレーションを提供する。
安定拡散と低ランク適応に基づく軽量でフレキシブルな画像から画像への変換法を提案する。
- 参考スコア（独自算出の注目度）: 1.28795255913358
- License:
- Abstract: Computer-assisted surgical (CAS) systems enhance surgical execution and outcomes by providing advanced support to surgeons. These systems often rely on deep learning models trained on complex, challenging-to-annotate data. While synthetic data generation can address these challenges, enhancing the realism of such data is crucial. This work introduces a multi-stage pipeline for generating realistic synthetic data, featuring a fully-fledged surgical simulator that automatically produces all necessary annotations for modern CAS systems. This simulator generates a wide set of annotations that surpass those available in public synthetic datasets. Additionally, it offers a more complex and realistic simulation of surgical interactions, including the dynamics between surgical instruments and deformable anatomical environments, outperforming existing approaches. To further bridge the visual gap between synthetic and real data, we propose a lightweight and flexible image-to-image translation method based on Stable Diffusion (SD) and Low-Rank Adaptation (LoRA). This method leverages a limited amount of annotated data, enables efficient training, and maintains the integrity of annotations generated by our simulator. The proposed pipeline is experimentally validated and can translate synthetic images into images with real-world characteristics, which can generalize to real-world context, thereby improving both training and CAS guidance. The code and the dataset are available at https://github.com/SanoScience/SimuScope.
- Abstract（参考訳）: コンピュータ支援手術システム(CAS)は、外科医に高度な支援を提供することで、手術の実行と成績を高める。
これらのシステムは、複雑で挑戦的で注釈付けの難しいデータに基づいて訓練されたディープラーニングモデルに依存することが多い。
合成データ生成はこれらの課題に対処できるが、そのようなデータの現実性を高めることは重要である。
この研究は、現実的な合成データを生成するための多段階パイプラインを導入し、近代的なCASシステムに必要なすべてのアノテーションを自動生成する完全な手術シミュレータを特徴とする。
このシミュレータは、パブリックな合成データセットで利用可能なアノテーションを超える、幅広いアノテーションを生成する。
さらに、手術器具と変形可能な解剖学的環境の間のダイナミクスを含む、外科的相互作用のより複雑で現実的なシミュレーションを提供し、既存のアプローチより優れている。
合成データと実データの間の視覚的ギャップをさらに埋めるため、安定拡散(SD)とローランド適応(LoRA)に基づく軽量で柔軟な画像間変換法を提案する。
本手法は,限られた量のアノテートデータを活用し,効率的なトレーニングを可能にし,シミュレータが生成したアノテーションの整合性を維持する。
提案したパイプラインは実験的に検証され,実世界の特徴を持つ画像に合成画像を変換することができる。
コードとデータセットはhttps://github.com/SanoScience/SimuScope.comで公開されている。
関連論文リスト
- SurGrID: Controllable Surgical Simulation via Scene Graph to Image Diffusion [0.8680185045005854]
画像拡散モデルのためのシーングラフであるSurGrIDを導入し,手術シーンの合成を制御可能とした。
シーングラフは手術シーンのコンポーネントの空間的および意味的な情報をエンコードし、中間表現に変換する。
提案手法は、生成した画像の忠実度と、最先端のグラフ入力との整合性を改善する。
論文 参考訳（メタデータ） (2025-02-11T20:49:13Z) - Realistic Surgical Simulation from Monocular Videos [49.114370617718244]
本稿では,手軽な手術映像からリアルな手術シミュレーションを自動実行することの課題に対処する。
本稿では,これらの制約を克服する新しい自動シミュレーションシステムであるSurgiSimを提案する。
様々な手術シナリオと相互作用の実験は、SurgiSimが軟組織の現実的なシミュレーションを行う能力を示している。
論文 参考訳（メタデータ） (2024-12-03T10:32:41Z) - Realistic Surgical Image Dataset Generation Based On 3D Gaussian Splatting [3.5351922399745166]
本研究は, 合成外科用データセットを生成するために3次元ガウススプラッティングを用いた新しい手法を提案する。
手術現場でツールやカメラのポーズとともに画像を取得することのできるデータ記録システムを開発した。
このポーズデータを用いて、シーンを合成的に再現し、合成画像の品質を直接比較できるようにする。
論文 参考訳（メタデータ） (2024-07-20T11:20:07Z) - SimGen: Simulator-conditioned Driving Scene Generation [50.03358485083602]
シミュレーション条件付きシーン生成フレームワークSimGenを紹介する。
SimGenは、シミュレータと現実世界のデータを混ぜることで、多様な運転シーンを生成することを学ぶ。
テキストプロンプトとシミュレータからのレイアウトに基づいて制御性を保ちながら、優れた生成品質と多様性を実現する。
論文 参考訳（メタデータ） (2024-06-13T17:58:32Z) - UAV-Sim: NeRF-based Synthetic Data Generation for UAV-based Perception [62.71374902455154]
ニューラルレンダリングの最近の進歩を利用して、静的および動的ノベルビューUAVベースの画像レンダリングを改善する。
本研究では,主に実データと合成データのハイブリッドセットに基づいて最先端検出モデルが最適化された場合,性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-10-25T00:20:37Z) - Synthesising Rare Cataract Surgery Samples with Guided Diffusion Models [0.7577401420358975]
白内障手術の動画データを,訓練済みのツールの最悪のパフォーマンスの段階で分析する。
本モデルは,複雑なマルチクラスマルチラベル条件に基づいて,多種多様な高品質なサンプルを合成することができる。
人工的に拡張されたデータにより,ツール分類の下流タスクにおけるデータ空間の問題を改善することができる。
論文 参考訳（メタデータ） (2023-08-03T18:09:26Z) - Domain Adaptive Sim-to-Real Segmentation of Oropharyngeal Organs Towards
Robot-assisted Intubation [15.795665057836636]
この作業では、Open Framework Architectureフレームワークによって生成された仮想データセットを導入し、実際の内視鏡画像の可用性の制限を克服する。
また,画像ブレンディング戦略を用いた咽頭臓器画像分割のための領域適応型Sim-to-Real法を提案する。
実験結果は,ドメイン適応モデルを用いた提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2023-05-19T14:08:15Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳（メタデータ） (2022-08-16T20:46:08Z) - Differentiable Agent-based Epidemiology [71.81552021144589]
GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。
GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
論文 参考訳（メタデータ） (2022-07-20T07:32:02Z) - SyntheX: Scaling Up Learning-based X-ray Image Analysis Through In
Silico Experiments [12.019996672009375]
人間のモデルからリアルなシミュレートされた画像を作成することは、大規模なIn situデータ収集の代替となることを示す。
人体モデルからの学習データの合成は、容易にスケールできるので、我々がSyntheXと呼ぶX線画像解析のためのモデル転送パラダイムが、実際のデータ学習モデルよりも優れていることが分かりました。
論文 参考訳（メタデータ） (2022-06-13T13:08:41Z) - Fed-Sim: Federated Simulation for Medical Imaging [131.56325440976207]
本稿では、2つの学習可能なニューラルモジュールからなる物理駆動型生成手法を提案する。
データ合成フレームワークは、複数のデータセットの下流セグメンテーション性能を改善する。
論文 参考訳（メタデータ） (2020-09-01T19:17:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。