論文の概要: Sim2Real in endoscopy segmentation with a novel structure aware image translation
- arxiv url: http://arxiv.org/abs/2505.02654v1
- Date: Mon, 05 May 2025 13:56:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-06 18:49:35.692055
- Title: Sim2Real in endoscopy segmentation with a novel structure aware image translation
- Title（参考訳）: 新しい構造認識型画像翻訳による内視鏡分割におけるSim2Real
- Authors: Clara Tomasini, Luis Riazuelo, Ana C. Murillo,
- Abstract要約: 本研究は,シミュレートされた内視鏡画像に現実的なテクスチャを加える新しい画像翻訳モデルである。
大腸内視鏡画像における折り畳み分割の課題に対するアプローチを実証する。
新しいデータと新しいEMメタデータがリリースされ、さらなる研究が進められています。
- 参考スコア（独自算出の注目度）: 9.02292739380087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic segmentation of anatomical landmarks in endoscopic images can provide assistance to doctors and surgeons for diagnosis, treatments or medical training. However, obtaining the annotations required to train commonly used supervised learning methods is a tedious and difficult task, in particular for real images. While ground truth annotations are easier to obtain for synthetic data, models trained on such data often do not generalize well to real data. Generative approaches can add realistic texture to it, but face difficulties to maintain the structure of the original scene. The main contribution in this work is a novel image translation model that adds realistic texture to simulated endoscopic images while keeping the key scene layout information. Our approach produces realistic images in different endoscopy scenarios. We demonstrate these images can effectively be used to successfully train a model for a challenging end task without any real labeled data. In particular, we demonstrate our approach for the task of fold segmentation in colonoscopy images. Folds are key anatomical landmarks that can occlude parts of the colon mucosa and possible polyps. Our approach generates realistic images maintaining the shape and location of the original folds, after the image-style-translation, better than existing methods. We run experiments both on a novel simulated dataset for fold segmentation, and real data from the EndoMapper (EM) dataset. All our new generated data and new EM metadata is being released to facilitate further research, as no public benchmark is currently available for the task of fold segmentation.
- Abstract（参考訳）: 内視鏡画像における解剖学的ランドマークの自動セグメンテーションは、医師や外科医に診断、治療、医療訓練の補助を提供することができる。
しかし、一般的に使われている教師付き学習手法の訓練に必要なアノテーションを取得することは、特に実画像において、面倒で難しい作業である。
基底真理アノテーションは合成データに対して容易に取得できるが、そのようなデータに基づいて訓練されたモデルは実データに対してうまく一般化しないことが多い。
生成的アプローチは現実的なテクスチャを加えることができるが、元のシーンの構造を維持するのに困難に直面している。
この研究の主な貢献は、シーンレイアウト情報を保持しながら、シミュレートされた内視鏡画像に現実的なテクスチャを追加する新しい画像翻訳モデルである。
本手法は異なる内視鏡のシナリオで現実的な画像を生成する。
これらの画像は、実際のラベル付きデータを使わずに、挑戦的な終末タスクのためのモデルを効果的に訓練することができることを実証する。
特に,大腸内視鏡画像における折り畳み分割の課題に対するアプローチを実証する。
フォールドは大腸粘膜の一部とポリープを閉塞する重要な解剖学的ランドマークである。
提案手法は, 従来の手法よりも, 画像スタイル翻訳後の元の折りたたみ形状と位置を維持した現実的な画像を生成する。
我々は、折り畳みセグメンテーションのための新しいシミュレーションデータセットと、EndoMapper(EM)データセットからの実データの両方で実験を行う。
新たな生成されたデータと新しいEMメタデータはすべて、さらなる研究を容易にするためにリリースされています。
関連論文リスト
- Learning Universal Features for Generalizable Image Forgery Localization [53.666188847170915]
GIFL(Generalizable Image Forgery Localization)へのアプローチを提案する。
我々のモデルは、目に見える偽造物と見えない偽造物の両方を検出することができ、生成AIの時代において、偽情報に対抗するためのより実践的で効率的なソリューションを提供する。
本手法は,特定の偽造物の痕跡ではなく,プリスタンコンテンツから一般的な特徴を学習することに焦点を当てる。
論文 参考訳（メタデータ） (2025-04-10T05:20:29Z) - Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities [88.398085358514]
Contrastive Deepfake Embeddings (CoDE)は、ディープフェイク検出に特化した新しい埋め込み空間である。
CoDEは、グローバルローカルな類似性をさらに強化することで、対照的な学習を通じて訓練される。
論文 参考訳（メタデータ） (2024-07-29T18:00:10Z) - MeshBrush: Painting the Anatomical Mesh with Neural Stylization for Endoscopy [0.8437187555622164]
スタイルトランスファーは、医療内視鏡におけるシミュレートとリアルのギャップを埋めるための有望なアプローチである。
術前スキャンによって合成内視鏡ビデオをレンダリングすると、構造的に正確なシミュレーションが生成される。
CycleGANはこれらのシミュレーションから現実的な内視鏡像を模倣することができるが、ビデオとビデオの合成には適さない。
時間的に一貫した映像を合成するニューラルネットワークスタイリング手法であるMeshBrushを提案する。
論文 参考訳（メタデータ） (2024-04-03T18:40:48Z) - Perceptual Artifacts Localization for Image Synthesis Tasks [59.638307505334076]
我々は10,168個の画像からなる新しいデータセットを導入し,それぞれに知覚的アーティファクトラベルを付加した。
提案したデータセットに基づいてトレーニングされたセグメンテーションモデルは、さまざまなタスクにまたがるアーティファクトを効果的にローカライズする。
生成した画像の知覚的アーティファクトをシームレスに修正する,革新的なズームイン・インペインティングパイプラインを提案する。
論文 参考訳（メタデータ） (2023-10-09T10:22:08Z) - Exploring Semantic Consistency in Unpaired Image Translation to Generate
Data for Surgical Applications [1.8011391924021904]
本研究では,外科的応用における適切なデータを生成するための画像翻訳手法を実験的に検討した。
構造相似性損失と対照的学習の単純な組み合わせが、最も有望な結果をもたらすことがわかった。
論文 参考訳（メタデータ） (2023-09-06T14:43:22Z) - Microscopy Image Segmentation via Point and Shape Regularized Data
Synthesis [9.47802391546853]
合成学習データを用いた顕微鏡画像セグメンテーションのための統一パイプラインを構築した。
本フレームワークは,濃密なラベルを持つ高精度な顕微鏡画像で訓練されたモデルと同等の結果が得られる。
論文 参考訳（メタデータ） (2023-08-18T22:00:53Z) - Translating Simulation Images to X-ray Images via Multi-Scale Semantic
Matching [16.175115921436582]
本稿では,血管内シミュレータからX線画像へのシミュレーション画像の変換手法を提案する。
入力画像と生成画像が同じ位置意味関係を持つことを保証するために,自己ドメイン意味マッチングを適用した。
提案手法は, 現実的なX線画像を生成し, 最先端のアプローチを大きなマージンで上回っている。
論文 参考訳（メタデータ） (2023-04-16T04:49:46Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。
我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
論文 参考訳（メタデータ） (2023-04-02T10:25:09Z) - Learning Co-segmentation by Segment Swapping for Retrieval and Discovery [67.6609943904996]
この研究の目的は、一対のイメージから視覚的に類似したパターンを効率的に識別することである。
画像中のオブジェクトセグメントを選択し、それを別の画像にコピーペーストすることで、合成トレーニングペアを生成する。
提案手法は,Brueghelデータセット上でのアートワークの詳細検索に対して,明確な改善をもたらすことを示す。
論文 参考訳（メタデータ） (2021-10-29T16:51:16Z) - Towards Unsupervised Learning for Instrument Segmentation in Robotic
Surgery with Cycle-Consistent Adversarial Networks [54.00217496410142]
本稿では、入力された内視鏡画像と対応するアノテーションとのマッピングを学習することを目的として、未ペア画像から画像への変換を提案する。
当社のアプローチでは,高価なアノテーションを取得することなく,イメージセグメンテーションモデルをトレーニングすることが可能です。
提案手法をEndovis 2017チャレンジデータセットで検証し,教師付きセグメンテーション手法と競合することを示す。
論文 参考訳（メタデータ） (2020-07-09T01:39:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。