論文の概要: Realistic Surgical Image Dataset Generation Based On 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2407.14846v1
• Date: Sat, 20 Jul 2024 11:20:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 20:32:23.279372
• Title: Realistic Surgical Image Dataset Generation Based On 3D Gaussian Splatting
• Title（参考訳）: 3次元ガウススプラッティングに基づくリアルな手術画像データセット生成
• Authors: Tianle Zeng, Gerardo Loza Galindo, Junlei Hu, Pietro Valdastri, Dominic Jones,
• Abstract要約: 本研究は, 合成外科用データセットを生成するために3次元ガウススプラッティングを用いた新しい手法を提案する。 手術現場でツールやカメラのポーズとともに画像を取得することのできるデータ記録システムを開発した。 このポーズデータを用いて、シーンを合成的に再現し、合成画像の品質を直接比較できるようにする。
• 参考スコア（独自算出の注目度）: 3.5351922399745166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computer vision technologies markedly enhance the automation capabilities of robotic-assisted minimally invasive surgery (RAMIS) through advanced tool tracking, detection, and localization. However, the limited availability of comprehensive surgical datasets for training represents a significant challenge in this field. This research introduces a novel method that employs 3D Gaussian Splatting to generate synthetic surgical datasets. We propose a method for extracting and combining 3D Gaussian representations of surgical instruments and background operating environments, transforming and combining them to generate high-fidelity synthetic surgical scenarios. We developed a data recording system capable of acquiring images alongside tool and camera poses in a surgical scene. Using this pose data, we synthetically replicate the scene, thereby enabling direct comparisons of the synthetic image quality (29.592 PSNR). As a further validation, we compared two YOLOv5 models trained on the synthetic and real data, respectively, and assessed their performance in an unseen real-world test dataset. Comparing the performances, we observe an improvement in neural network performance, with the synthetic-trained model outperforming the real-world trained model by 12%, testing both on real-world data.
• Abstract（参考訳）: コンピュータビジョン技術は、高度なツールトラッキング、検出、ローカライゼーションを通じて、ロボット支援の最小侵襲手術(RAMIS)の自動化能力を著しく向上させる。 しかし、この分野では、総合的な外科的データセットの入手が限られていることが大きな課題である。 本研究は, 合成外科用データセットを生成するために3次元ガウススプラッティングを用いた新しい手法を提案する。 手術器具と背景操作環境の3次元ガウス表現を抽出・組み合わせて変換・結合し,高忠実な外科的シナリオを生成する手法を提案する。 手術現場でツールやカメラのポーズとともに画像を取得することのできるデータ記録システムを開発した。 このポーズデータを用いて、シーンを合成的に複製し、合成画像の品質(29.592 PSNR)を直接比較できるようにする。 さらなる検証として、合成データと実データに基づいてトレーニングされた2つのYOLOv5モデルを比較し、その性能を目に見えない実世界のテストデータセットで評価した。 実世界のトレーニングモデルを12%上回り、実世界のデータでテストすることで、ニューラルネットワークの性能の改善を観察する。

関連論文リスト

• Drive-1-to-3: Enriching Diffusion Priors for Novel View Synthesis of Real Vehicles [81.29018359825872]
  本稿では,実世界の課題に対して,大規模な事前学習モデルを微調整するための一連の優れたプラクティスを統合する。 具体的には,合成データと実運転データとの相違を考慮に入れたいくつかの戦略を開発する。 我々の洞察は、先行芸術よりも新しいビュー合成のためのFIDを68.8%値下げする効果のある微調整につながる。
  論文  参考訳（メタデータ） (2024-12-19T03:39:13Z)
• SimuScope: Realistic Endoscopic Synthetic Dataset Generation through Surgical Simulation and Diffusion Models [1.28795255913358]
  そこで本研究では,最新のCASシステムに必要なアノテーションをすべて自動生成する,本格的な手術シミュレータを提案する。 手術器具と変形可能な解剖学的環境の間の力学を含む、より複雑で現実的な外科的相互作用のシミュレーションを提供する。 安定拡散と低ランク適応に基づく軽量でフレキシブルな画像から画像への変換法を提案する。
  論文  参考訳（メタデータ） (2024-12-03T09:49:43Z)
• Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
  本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。 本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
  論文  参考訳（メタデータ） (2024-03-21T10:38:18Z)
• Learning from Synthetic Data for Visual Grounding [55.21937116752679]
  そこで本研究では,SynGroundが市販のビジョン・アンド・ランゲージモデルのローカライズ能力を向上できることを示す。 SynGroundで生成されたデータは、事前訓練されたALBEFモデルとBLIPモデルのポインティングゲーム精度をそれぞれ4.81%、絶対パーセンテージポイント17.11%向上させる。
  論文  参考訳（メタデータ） (2024-03-20T17:59:43Z)
• Domain adaptation strategies for 3D reconstruction of the lumbar spine using real fluoroscopy data [9.21828361691977]
  本研究は整形外科手術における手術ナビゲーション導入における重要な障害に対処するものである。 これは、少数の蛍光画像から脊椎の3次元解剖モデルを生成するためのアプローチを示す。 これまでの合成データに基づく研究の精度に匹敵する84%のF1スコアを達成しました。
  論文  参考訳（メタデータ） (2024-01-29T10:22:45Z)
• UAV-Sim: NeRF-based Synthetic Data Generation for UAV-based Perception [62.71374902455154]
  ニューラルレンダリングの最近の進歩を利用して、静的および動的ノベルビューUAVベースの画像レンダリングを改善する。 本研究では,主に実データと合成データのハイブリッドセットに基づいて最先端検出モデルが最適化された場合,性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-10-25T00:20:37Z)
• Synthetic Image Data for Deep Learning [0.294944680995069]
  3次元モデルからレンダリングされたリアルな合成画像データを使用して、画像集合を拡大し、画像分類セグメンテーションモデルを訓練することができる。 実車の生産3次元CADモデルに基づく大規模合成データセットを,高品質な物理ベースレンダリングとドメインランダム化により効率的に作成できることを示す。
  論文  参考訳（メタデータ） (2022-12-12T20:28:13Z)
• Is synthetic data from generative models ready for image recognition? [69.42645602062024]
  本研究では,最新のテキスト・画像生成モデルから生成した合成画像が,画像認識タスクにどのように利用できるかを検討した。 本稿では,既存の生成モデルからの合成データの強大さと欠点を示し,認識タスクに合成データを適用するための戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-14T06:54:24Z)
• SyntheX: Scaling Up Learning-based X-ray Image Analysis Through In Silico Experiments [12.019996672009375]
  人間のモデルからリアルなシミュレートされた画像を作成することは、大規模なIn situデータ収集の代替となることを示す。 人体モデルからの学習データの合成は、容易にスケールできるので、我々がSyntheXと呼ぶX線画像解析のためのモデル転送パラダイムが、実際のデータ学習モデルよりも優れていることが分かりました。
  論文  参考訳（メタデータ） (2022-06-13T13:08:41Z)
• Synthetic Data and Hierarchical Object Detection in Overhead Imagery [0.0]
  衛星画像における低・ゼロサンプル学習を向上させるための新しい合成データ生成および拡張技術を開発した。 合成画像の有効性を検証するために,検出モデルと2段階モデルの訓練を行い,実際の衛星画像上で得られたモデルを評価する。
  論文  参考訳（メタデータ） (2021-01-29T22:52:47Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。