論文の概要: Navigating the Synthetic Realm: Harnessing Diffusion-based Models for
Laparoscopic Text-to-Image Generation
- arxiv url: http://arxiv.org/abs/2312.03043v1
- Date: Tue, 5 Dec 2023 16:20:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 17:17:21.666977
- Title: Navigating the Synthetic Realm: Harnessing Diffusion-based Models for
Laparoscopic Text-to-Image Generation
- Title(参考訳): 合成領域をナビゲートする:ラパロスコープテキスト・画像生成のための拡散モデル
- Authors: Simeon Allmendinger, Patrick Hemmer, Moritz Queisner, Igor Sauer,
Leopold M\"uller, Johannes Jakubik, Michael V\"ossing, Niklas K\"uhl
- Abstract要約: 拡散型生成モデルを用いて短いテキストプロンプトから合成腹腔鏡画像を生成するための直感的なアプローチを提案する。
画像ガイド下手術の分野では,拡散モデルがスタイルやセマンティクスの知識を得ることができた。
- 参考スコア(独自算出の注目度): 3.2039076408339353
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent advances in synthetic imaging open up opportunities for obtaining
additional data in the field of surgical imaging. This data can provide
reliable supplements supporting surgical applications and decision-making
through computer vision. Particularly the field of image-guided surgery, such
as laparoscopic and robotic-assisted surgery, benefits strongly from synthetic
image datasets and virtual surgical training methods. Our study presents an
intuitive approach for generating synthetic laparoscopic images from short text
prompts using diffusion-based generative models. We demonstrate the usage of
state-of-the-art text-to-image architectures in the context of laparoscopic
imaging with regard to the surgical removal of the gallbladder as an example.
Results on fidelity and diversity demonstrate that diffusion-based models can
acquire knowledge about the style and semantics in the field of image-guided
surgery. A validation study with a human assessment survey underlines the
realistic nature of our synthetic data, as medical personnel detects actual
images in a pool with generated images causing a false-positive rate of 66%. In
addition, the investigation of a state-of-the-art machine learning model to
recognize surgical actions indicates enhanced results when trained with
additional generated images of up to 5.20%. Overall, the achieved image quality
contributes to the usage of computer-generated images in surgical applications
and enhances its path to maturity.
- Abstract(参考訳): 合成画像の最近の進歩は、外科画像の分野での追加データを得る機会を開く。
このデータは、コンピュータビジョンによる外科的応用と意思決定を支援する信頼できるサプリメントを提供することができる。
特に腹腔鏡やロボット支援手術のような画像誘導手術の分野は、合成画像データセットと仮想手術訓練法から強く恩恵を受けている。
本研究では,拡散型生成モデルを用いた短文プロンプトから合成腹腔鏡画像を生成するための直感的手法を提案する。
胆嚢の外科的切除を例に, 腹腔鏡下画像診断における最先端のテクスト・ツー・イメージ・アーキテクチャの使用例を示す。
忠実性と多様性に関する結果から,拡散モデルが画像誘導手術の分野におけるスタイルや意味に関する知識を得ることが示されている。
人間アセスメント調査(human assessment survey)による検証研究は、医療従事者が生成画像が66%の偽陽性率を引き起こすプール内の実際の画像を検出することで、われわれの合成データの現実的な性質を裏付けるものだ。
さらに、外科的動作を認識する最先端の機械学習モデルの研究は、最大5.20%の追加生成画像でトレーニングした場合の強化結果を示している。
全体的に、達成された画像品質は、外科的応用におけるコンピュータ生成画像の使用に寄与し、成熟への道筋を高める。
関連論文リスト
- Domain adaptation strategies for 3D reconstruction of the lumbar spine
using real fluoroscopy data [9.42467375312292]
本研究は整形外科手術における手術ナビゲーション導入における重要な障害に対処するものである。
これは、少数の蛍光画像から脊椎の3次元解剖モデルを生成するためのアプローチを示す。
これまでの合成データに基づく研究の精度に匹敵する84%のF1スコアを達成しました。
論文 参考訳(メタデータ) (2024-01-29T10:22:45Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - AiAReSeg: Catheter Detection and Segmentation in Interventional
Ultrasound using Transformers [75.20925220246689]
血管内手術は、電離放射線を用いてカテーテルと血管を可視化するFluoroscopyの黄金標準を用いて行われる。
本研究では、最先端機械学習トランスフォーマアーキテクチャを応用して、軸干渉超音波画像シーケンス中のカテーテルを検出し、セグメント化する手法を提案する。
論文 参考訳(メタデータ) (2023-09-25T19:34:12Z) - Medical Diffusion -- Denoising Diffusion Probabilistic Models for 3D
Medical Image Generation [0.6486409713123691]
拡散確率モデルが高品質な医用画像データを合成可能であることを示す。
本研究は,2人の医療専門家による読影研究を通じて,そのパフォーマンスを定量的に測定する。
自己教師付き事前訓練において合成画像が利用可能であることを示し,データ不足時の乳房分割モデルの性能向上を図った。
論文 参考訳(メタデータ) (2022-11-07T08:37:48Z) - Adapting Pretrained Vision-Language Foundational Models to Medical
Imaging Domains [3.8137985834223502]
臨床の文脈を忠実に描写する医療画像の生成モデルを構築することは、医療データセットの不明瞭さを軽減するのに役立つ。
安定拡散パイプラインのサブコンポーネントを探索し、モデルを微調整して医用画像を生成する。
我々の最良の性能モデルは、安定な拡散ベースラインを改善し、合成ラジオグラフィ画像に現実的な異常を挿入するように条件付けすることができる。
論文 参考訳(メタデータ) (2022-10-09T01:43:08Z) - SyntheX: Scaling Up Learning-based X-ray Image Analysis Through In
Silico Experiments [12.019996672009375]
人間のモデルからリアルなシミュレートされた画像を作成することは、大規模なIn situデータ収集の代替となることを示す。
人体モデルからの学習データの合成は、容易にスケールできるので、我々がSyntheXと呼ぶX線画像解析のためのモデル転送パラダイムが、実際のデータ学習モデルよりも優れていることが分かりました。
論文 参考訳(メタデータ) (2022-06-13T13:08:41Z) - Enhanced Transfer Learning Through Medical Imaging and Patient
Demographic Data Fusion [0.0]
画像特徴と関連する非画像データとを組み合わせた医療画像データの分類における性能向上について検討した。
特徴抽出器として直接使用し,対象領域に微調整を施したImageNetで事前訓練したネットワークを用いた転送学習を利用する。
論文 参考訳(メタデータ) (2021-11-29T09:11:52Z) - Semantic segmentation of multispectral photoacoustic images using deep
learning [53.65837038435433]
光音響イメージングは医療に革命をもたらす可能性がある。
この技術の臨床的翻訳には、高次元取得したデータを臨床的に関連性があり解釈可能な情報に変換する必要がある。
本稿では,多スペクトル光音響画像のセマンティックセグメンテーションに対する深層学習に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2021-05-20T09:33:55Z) - Generative Adversarial U-Net for Domain-free Medical Image Augmentation [49.72048151146307]
注釈付き医用画像の不足は、医用画像コンピューティングの分野における最大の課題の1つだ。
本稿では,生成逆U-Netという新しい生成手法を提案する。
当社の新しいモデルは、ドメインフリーで、さまざまな医療画像に汎用性があります。
論文 参考訳(メタデータ) (2021-01-12T23:02:26Z) - Towards Unsupervised Learning for Instrument Segmentation in Robotic
Surgery with Cycle-Consistent Adversarial Networks [54.00217496410142]
本稿では、入力された内視鏡画像と対応するアノテーションとのマッピングを学習することを目的として、未ペア画像から画像への変換を提案する。
当社のアプローチでは,高価なアノテーションを取得することなく,イメージセグメンテーションモデルをトレーニングすることが可能です。
提案手法をEndovis 2017チャレンジデータセットで検証し,教師付きセグメンテーション手法と競合することを示す。
論文 参考訳(メタデータ) (2020-07-09T01:39:39Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳(メタデータ) (2020-03-31T11:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。