論文の概要: High-Quality Medical Image Generation from Free-hand Sketch

• arxiv url: http://arxiv.org/abs/2402.00353v2
• Date: Tue, 9 Jul 2024 15:08:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 00:01:00.999596
• Title: High-Quality Medical Image Generation from Free-hand Sketch
• Title（参考訳）: フリーハンドスケッチによる高品質な医用画像生成
• Authors: Quan Huu Cap, Atsushi Fukuda,
• Abstract要約: そこで我々は,Sketch2MedIと呼ばれる手書きスケッチ画像生成モデルを提案する。 StyleGANの潜伏空間でスケッチを表現し、そこから医療画像を生成する。
• 参考スコア（独自算出の注目度）: 5.294604210205507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating medical images from human-drawn free-hand sketches holds promise for various important medical imaging applications. Due to the extreme difficulty in collecting free-hand sketch data in the medical domain, most deep learning-based methods have been proposed to generate medical images from the synthesized sketches (e.g., edge maps or contours of segmentation masks from real images). However, these models often fail to generalize on the free-hand sketches, leading to unsatisfactory results. In this paper, we propose a practical free-hand sketch-to-image generation model called Sketch2MedI that learns to represent sketches in StyleGAN's latent space and generate medical images from it. Thanks to the ability to encode sketches into this meaningful representation space, Sketch2MedI only requires synthesized sketches for training, enabling a cost-effective learning process. Our Sketch2MedI demonstrates a robust generalization to free-hand sketches, resulting in high-quality and realistic medical image generations. Comparative evaluations of Sketch2MedI against the pix2pix, CycleGAN, UNIT, and U-GAT-IT models show superior performance in generating pharyngeal images, both quantitative and qualitative across various metrics.
• Abstract（参考訳）: 人間を描いたフリーハンドスケッチから医療画像を生成することは、様々な重要な医療画像の応用を約束する。 医用領域におけるフリーハンドスケッチデータの収集が極端に困難であるため、合成スケッチ(例えば、エッジマップや、実際の画像からのセグメンテーションマスクの輪郭)から医用画像を生成するディープラーニングベースの手法が提案されている。 しかしながら、これらのモデルはフリーハンドスケッチの一般化に失敗することが多く、不満足な結果をもたらす。 本論文では,StyleGANの潜在空間におけるスケッチを表現し,そこから医用画像を生成するSketch2MedIという,実用的なフリーハンドスケッチ・ツー・イメージ生成モデルを提案する。 スケッチをこの意味のある表現空間にエンコードする機能のおかげで、Sketch2MedIはトレーニングのために合成スケッチしか必要とせず、コスト効率のよい学習プロセスを実現する。 私たちのSketch2MedIは、フリーハンドスケッチへの堅牢な一般化を示し、高品質でリアルな医療画像生成を実現します。 Sketch2MedI の pix2pix, CycleGAN, UNIT, U-GAT-IT モデルとの比較評価により, 種々の指標における定量的および定性的な咽頭画像の生成において, 優れた性能を示した。

関連論文リスト

• DiffSketching: Sketch Control Image Synthesis with Diffusion Models [10.172753521953386]
  スケッチ・ツー・イメージ合成のためのディープラーニングモデルは、視覚的な詳細なしに歪んだ入力スケッチを克服する必要がある。 我々のモデルは、クロスドメイン制約を通じてスケッチにマッチし、画像合成をより正確に導くために分類器を使用する。 我々のモデルは、生成品質と人的評価の点でGANベースの手法に勝ることができ、大規模なスケッチ画像データセットに依存しない。
  論文  参考訳（メタデータ） (2023-05-30T07:59:23Z)
• Picture that Sketch: Photorealistic Image Generation from Abstract Sketches [109.69076457732632]
  この論文は、あなたや私のような訓練を受けていないアマチュアの抽象的で変形した普通のスケッチから、それをフォトリアリスティックなイメージに変えます。 まず、エッジマップのようなスケッチを指示するのではなく、抽象的なフリーハンドな人間のスケッチで作業することを目指しています。 そうすることで、スケッチから写真までのパイプラインを民主化し、スケッチがどれだけよいかに関わらず、スケッチを"写真化"します。
  論文  参考訳（メタデータ） (2023-03-20T14:49:03Z)
• Towards Practicality of Sketch-Based Visual Understanding [15.30818342202786]
  スケッチは、先史時代から視覚的な物体を概念化し、描写するために用いられてきた。 この論文は、スケッチに基づく視覚的理解をより実践的に進めることを目的としている。
  論文  参考訳（メタデータ） (2022-10-27T03:12:57Z)
• FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context [112.07988211268612]
  フリーハンドシーンスケッチの最初のデータセットであるFS-COCOを用いてスケッチ研究を進めた。 本データセットは,100名の非専門家による1点あたりの時空間情報付きフリーハンドシーンベクトルスケッチからなる。 フリーハンドシーンのスケッチやスケッチのキャプションからきめ細かい画像検索の問題が初めて研究された。
  論文  参考訳（メタデータ） (2022-03-04T03:00:51Z)
• DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
  既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。 本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
  論文  参考訳（メタデータ） (2020-08-31T03:35:21Z)
• SketchyCOCO: Image Generation from Freehand Scene Sketches [71.85577739612579]
  本稿では,シーンレベルのフリーハンドスケッチから画像の自動生成手法を提案する。 主要なコントリビューションは、EdgeGANと呼ばれる属性ベクトルをブリッジしたGeneversarative Adrial Networkである。 我々はSketchyCOCOと呼ばれる大規模複合データセットを構築し、ソリューションをサポートし評価した。
  論文  参考訳（メタデータ） (2020-03-05T14:54:10Z)
• Deep Self-Supervised Representation Learning for Free-Hand Sketch [51.101565480583304]
  フリーハンドスケッチにおける自己指導型表現学習の課題に対処する。 自己教師型学習パラダイムの成功の鍵は、スケッチ固有の設計にある。 提案手法は最先端の教師なし表現学習法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-03T16:28:29Z)
• Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches [133.01690754567252]
  スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。 Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
  論文  参考訳（メタデータ） (2020-01-09T08:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。