Fugu-MT 論文翻訳(概要): DermSynth3D: Synthesis of in-the-wild Annotated Dermatology Images

論文の概要: DermSynth3D: Synthesis of in-the-wild Annotated Dermatology Images

arxiv url: http://arxiv.org/abs/2305.12621v3
Date: Tue, 19 Mar 2024 19:42:14 GMT
ステータス: 処理完了
システム内更新日: 2024-03-21 23:07:03.695579
Title: DermSynth3D: Synthesis of in-the-wild Annotated Dermatology Images
Title（参考訳）: DermSynth3D:in-the-wild Annotated Dermatology画像の合成
Authors: Ashish Sinha, Jeremy Kawahara, Arezou Pakzad, Kumar Abhishek, Matthieu Ruthven, Enjie Ghorbel, Anis Kacem, Djamila Aouada, Ghassan Hamarneh,
Abstract要約: 本稿では皮膚疾患パターンを3次元テクスチャメッシュにブレンドするDerm Synth3Dという新しいフレームワークを提案する。筆者らの手法は,ブレンディングとレンダリングを制約するトップダウンのルールに固執し,線内取得を模倣した皮膚条件の2次元画像を生成する。 Derm Synth3Dは、さまざまな皮膚科のタスクのためのカスタムデータセットを作成することができる。
参考スコア（独自算出の注目度）: 22.480547183533
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In recent years, deep learning (DL) has shown great potential in the field of dermatological image analysis. However, existing datasets in this domain have significant limitations, including a small number of image samples, limited disease conditions, insufficient annotations, and non-standardized image acquisitions. To address these shortcomings, we propose a novel framework called DermSynth3D. DermSynth3D blends skin disease patterns onto 3D textured meshes of human subjects using a differentiable renderer and generates 2D images from various camera viewpoints under chosen lighting conditions in diverse background scenes. Our method adheres to top-down rules that constrain the blending and rendering process to create 2D images with skin conditions that mimic in-the-wild acquisitions, ensuring more meaningful results. The framework generates photo-realistic 2D dermoscopy images and the corresponding dense annotations for semantic segmentation of the skin, skin conditions, body parts, bounding boxes around lesions, depth maps, and other 3D scene parameters, such as camera position and lighting conditions. DermSynth3D allows for the creation of custom datasets for various dermatology tasks. We demonstrate the effectiveness of data generated using DermSynth3D by training DL models on synthetic data and evaluating them on various dermatology tasks using real 2D dermatological images. We make our code publicly available at https://github.com/sfu-mial/DermSynth3D.
Abstract（参考訳）: 近年, 深層学習(DL)は皮膚画像解析の分野で大きな可能性を秘めている。しかし、この領域の既存のデータセットには、少数の画像サンプル、限られた疾患条件、不十分なアノテーション、標準化されていない画像取得など、重大な制限がある。これらの欠点に対処するため,我々はDermSynth3Dという新しいフレームワークを提案する。 DermSynth3Dは、人体の3Dテクスチャメッシュに、微分可能なレンダラーを用いて皮膚の病気パターンをブレンドし、さまざまな背景条件下で選択された照明条件下で、様々なカメラ視点から2D画像を生成する。筆者らの手法は、ブレンディングとレンダリングを制約するトップダウンルールに従属し、より有意義な結果が得られるように、肌の状態の2D画像を作成する。本フレームワークは、皮膚、皮膚の状態、身体部分、病変周囲の境界ボックス、深度マップ、およびカメラ位置や照明条件などの他の3Dシーンパラメータを意味的セグメンテーションするための、フォトリアリスティックな2D皮膚鏡画像およびそれに対応する高密度アノテーションを生成する。 DermSynth3Dは、さまざまな皮膚科学タスクのためのカスタムデータセットを作成することができる。本稿では,DermSynth3Dを用いて合成データ上でDLモデルを訓練し,実際の2次元皮膚画像を用いて各種皮膚学タスクで評価することにより,データの有効性を実証する。コードをhttps://github.com/sfu-mial/DermSynth3Dで公開しています。

関連論文リスト

DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文参考訳（メタデータ） (2024-06-17T21:15:13Z)
Generative Enhancement for 3D Medical Images [74.17066529847546]
本稿では,3次元医用画像合成の新しい生成手法であるGEM-3Dを提案する。本手法は2次元スライスから始まり,3次元スライスマスクを用いて患者に提供するための情報スライスとして機能し,生成過程を伝搬する。 3D医療画像をマスクと患者の事前情報に分解することで、GEM-3Dは多目的な3D画像を生成する柔軟な、かつ効果的なソリューションを提供する。
論文参考訳（メタデータ） (2024-03-19T15:57:04Z)
3D-SSGAN: Lifting 2D Semantics for 3D-Aware Compositional Portrait Synthesis [11.457566989721078]
既存の3D対応のポートレート合成手法は、強い3D一貫性を維持しながら、印象的な高品質な画像を生成することができる。 3D-SSGANは3次元合成画像合成のための新しいフレームワークである。
論文参考訳（メタデータ） (2024-01-08T09:41:07Z)
Fake It Without Making It: Conditioned Face Generation for Accurate 3D Face Reconstruction [5.079602839359523]
本稿では,250Kのフォトリアリスティック画像とそれに対応する形状パラメータと深度マップの大規模な合成データセットを生成する手法について述べる。人間の顔のFLAME 3D Morphable Model(3DMM)から採取した深度マップ上での安定拡散条件により,人種と性別のバランスがとれるようにデザインされた多様な形状の顔画像を生成することができる。我々は、3Dの監督や手動の3Dアセット作成を必要とせずに、NoWベンチマーク上での競合性能を実現する、SynthFaceでトレーニングされたディープニューラルネットワークであるControlFaceを提案する。
論文参考訳（メタデータ） (2023-07-25T16:42:06Z)
ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
論文参考訳（メタデータ） (2023-06-07T17:47:50Z)
Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [40.2714783162419]
生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。中心となるのは条件付き生成活動場(cGOF)で、生成された顔の形状を効果的に強制し、与えられた3Dモルファブルモデル(3DMM)メッシュにコミットする。実験により,高忠実度顔画像の生成が可能な提案手法の有効性が検証された。
論文参考訳（メタデータ） (2022-06-16T17:58:42Z)
DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文参考訳（メタデータ） (2022-03-29T17:59:15Z)
3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。 DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
論文参考訳（メタデータ） (2021-12-02T17:10:53Z)
A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文参考訳（メタデータ） (2021-10-29T10:53:12Z)
Convolutional Generation of Textured 3D Meshes [34.20939983046376]
単視点自然画像からの2次元監視のみを用いて,三角形メッシュとそれに伴う高分解能テクスチャマップを生成できるフレームワークを提案する。我々の研究の重要な貢献は、メッシュとテクスチャを2D表現として符号化することであり、意味的に整合し、2D畳み込みGANで容易にモデル化できる。本研究では,Pascal3D+カーとCUBにおいて,モデルがクラスラベル,属性,テキストに条件付けされている場合とで,本手法の有効性を実証する。
論文参考訳（メタデータ） (2020-06-13T15:23:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。