論文の概要: Navigating the Synthetic Realm: Harnessing Diffusion-based Models for
Laparoscopic Text-to-Image Generation
- arxiv url: http://arxiv.org/abs/2312.03043v1
- Date: Tue, 5 Dec 2023 16:20:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 17:17:21.666977
- Title: Navigating the Synthetic Realm: Harnessing Diffusion-based Models for
Laparoscopic Text-to-Image Generation
- Title（参考訳）: 合成領域をナビゲートする:ラパロスコープテキスト・画像生成のための拡散モデル
- Authors: Simeon Allmendinger, Patrick Hemmer, Moritz Queisner, Igor Sauer,
Leopold M\"uller, Johannes Jakubik, Michael V\"ossing, Niklas K\"uhl
- Abstract要約: 拡散型生成モデルを用いて短いテキストプロンプトから合成腹腔鏡画像を生成するための直感的なアプローチを提案する。
画像ガイド下手術の分野では,拡散モデルがスタイルやセマンティクスの知識を得ることができた。
- 参考スコア（独自算出の注目度）: 3.2039076408339353
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent advances in synthetic imaging open up opportunities for obtaining
additional data in the field of surgical imaging. This data can provide
reliable supplements supporting surgical applications and decision-making
through computer vision. Particularly the field of image-guided surgery, such
as laparoscopic and robotic-assisted surgery, benefits strongly from synthetic
image datasets and virtual surgical training methods. Our study presents an
intuitive approach for generating synthetic laparoscopic images from short text
prompts using diffusion-based generative models. We demonstrate the usage of
state-of-the-art text-to-image architectures in the context of laparoscopic
imaging with regard to the surgical removal of the gallbladder as an example.
Results on fidelity and diversity demonstrate that diffusion-based models can
acquire knowledge about the style and semantics in the field of image-guided
surgery. A validation study with a human assessment survey underlines the
realistic nature of our synthetic data, as medical personnel detects actual
images in a pool with generated images causing a false-positive rate of 66%. In
addition, the investigation of a state-of-the-art machine learning model to
recognize surgical actions indicates enhanced results when trained with
additional generated images of up to 5.20%. Overall, the achieved image quality
contributes to the usage of computer-generated images in surgical applications
and enhances its path to maturity.
- Abstract（参考訳）: 合成画像の最近の進歩は、外科画像の分野での追加データを得る機会を開く。
このデータは、コンピュータビジョンによる外科的応用と意思決定を支援する信頼できるサプリメントを提供することができる。
特に腹腔鏡やロボット支援手術のような画像誘導手術の分野は、合成画像データセットと仮想手術訓練法から強く恩恵を受けている。
本研究では,拡散型生成モデルを用いた短文プロンプトから合成腹腔鏡画像を生成するための直感的手法を提案する。
胆嚢の外科的切除を例に, 腹腔鏡下画像診断における最先端のテクスト・ツー・イメージ・アーキテクチャの使用例を示す。
忠実性と多様性に関する結果から,拡散モデルが画像誘導手術の分野におけるスタイルや意味に関する知識を得ることが示されている。
人間アセスメント調査(human assessment survey)による検証研究は、医療従事者が生成画像が66%の偽陽性率を引き起こすプール内の実際の画像を検出することで、われわれの合成データの現実的な性質を裏付けるものだ。
さらに、外科的動作を認識する最先端の機械学習モデルの研究は、最大5.20%の追加生成画像でトレーニングした場合の強化結果を示している。
全体的に、達成された画像品質は、外科的応用におけるコンピュータ生成画像の使用に寄与し、成熟への道筋を高める。
関連論文リスト
- SurgicaL-CD: Generating Surgical Images via Unpaired Image Translation with Latent Consistency Diffusion Models [1.6189876649941652]
現実的な手術画像を生成するために, 連続拡散法であるemphSurgicaL-CDを導入する。
以上の結果から,本手法はGANや拡散に基づく手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-08-19T09:19:25Z) - Surgical Text-to-Image Generation [1.958913666074613]
We adapt text-to-image generative model for the surgery domain using the CholecT50 dataset。
我々は,3重項に基づくテキストプロンプトから,フォトリアリスティックかつ活動対応の手術画像を生成する手術画像nを開発した。
論文 参考訳（メタデータ） (2024-07-12T12:49:11Z) - Interactive Generation of Laparoscopic Videos with Diffusion Models [1.5488613349551188]
そこで本研究では,外科的動作をテキストで指定することで,現実的な腹腔鏡画像と映像を生成する方法について述べる。
我々は、Colecデータセットファミリを使用して、我々のアプローチの性能を実証する。
我々は38.097のFIDと0.71のF1スコアを達成する。
論文 参考訳（メタデータ） (2024-04-23T12:36:07Z) - Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。
合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。
提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
論文 参考訳（メタデータ） (2024-03-28T22:25:05Z) - CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。
ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。
我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
論文 参考訳（メタデータ） (2024-03-21T15:13:36Z) - Domain adaptation strategies for 3D reconstruction of the lumbar spine using real fluoroscopy data [9.21828361691977]
本研究は整形外科手術における手術ナビゲーション導入における重要な障害に対処するものである。
これは、少数の蛍光画像から脊椎の3次元解剖モデルを生成するためのアプローチを示す。
これまでの合成データに基づく研究の精度に匹敵する84%のF1スコアを達成しました。
論文 参考訳（メタデータ） (2024-01-29T10:22:45Z) - AiAReSeg: Catheter Detection and Segmentation in Interventional
Ultrasound using Transformers [75.20925220246689]
血管内手術は、電離放射線を用いてカテーテルと血管を可視化するFluoroscopyの黄金標準を用いて行われる。
本研究では、最先端機械学習トランスフォーマアーキテクチャを応用して、軸干渉超音波画像シーケンス中のカテーテルを検出し、セグメント化する手法を提案する。
論文 参考訳（メタデータ） (2023-09-25T19:34:12Z) - SyntheX: Scaling Up Learning-based X-ray Image Analysis Through In
Silico Experiments [12.019996672009375]
人間のモデルからリアルなシミュレートされた画像を作成することは、大規模なIn situデータ収集の代替となることを示す。
人体モデルからの学習データの合成は、容易にスケールできるので、我々がSyntheXと呼ぶX線画像解析のためのモデル転送パラダイムが、実際のデータ学習モデルよりも優れていることが分かりました。
論文 参考訳（メタデータ） (2022-06-13T13:08:41Z) - Semantic segmentation of multispectral photoacoustic images using deep
learning [53.65837038435433]
光音響イメージングは医療に革命をもたらす可能性がある。
この技術の臨床的翻訳には、高次元取得したデータを臨床的に関連性があり解釈可能な情報に変換する必要がある。
本稿では,多スペクトル光音響画像のセマンティックセグメンテーションに対する深層学習に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2021-05-20T09:33:55Z) - Generative Adversarial U-Net for Domain-free Medical Image Augmentation [49.72048151146307]
注釈付き医用画像の不足は、医用画像コンピューティングの分野における最大の課題の1つだ。
本稿では,生成逆U-Netという新しい生成手法を提案する。
当社の新しいモデルは、ドメインフリーで、さまざまな医療画像に汎用性があります。
論文 参考訳（メタデータ） (2021-01-12T23:02:26Z) - Towards Unsupervised Learning for Instrument Segmentation in Robotic
Surgery with Cycle-Consistent Adversarial Networks [54.00217496410142]
本稿では、入力された内視鏡画像と対応するアノテーションとのマッピングを学習することを目的として、未ペア画像から画像への変換を提案する。
当社のアプローチでは,高価なアノテーションを取得することなく,イメージセグメンテーションモデルをトレーニングすることが可能です。
提案手法をEndovis 2017チャレンジデータセットで検証し,教師付きセグメンテーション手法と競合することを示す。
論文 参考訳（メタデータ） (2020-07-09T01:39:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。