論文の概要: TeethDreamer: 3D Teeth Reconstruction from Five Intra-oral Photographs
- arxiv url: http://arxiv.org/abs/2407.11419v1
- Date: Tue, 16 Jul 2024 06:24:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 16:22:29.746756
- Title: TeethDreamer: 3D Teeth Reconstruction from Five Intra-oral Photographs
- Title(参考訳): 歯のドレマー : 5枚の口腔内写真からの3次元歯の再構築
- Authors: Chenfan Xu, Zhentao Liu, Yuan Liu, Yulong Dou, Jiamin Wu, Jiepeng Wang, Minjiao Wang, Dinggang Shen, Zhiming Cui,
- Abstract要約: そこで我々は,上下顎歯の形状と位置を復元する3次元再構築フレームワークTeethDreamerを提案する。
口腔内5枚の写真から,まず大きな拡散モデルの事前知識を活用して,新しい多視点画像を生成する。
生成したビュー間の3D整合性を確保するために,逆拡散プロセスに3D対応機能アテンション機構を統合する。
- 参考スコア(独自算出の注目度): 45.0864129371874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Orthodontic treatment usually requires regular face-to-face examinations to monitor dental conditions of the patients. When in-person diagnosis is not feasible, an alternative is to utilize five intra-oral photographs for remote dental monitoring. However, it lacks of 3D information, and how to reconstruct 3D dental models from such sparse view photographs is a challenging problem. In this study, we propose a 3D teeth reconstruction framework, named TeethDreamer, aiming to restore the shape and position of the upper and lower teeth. Given five intra-oral photographs, our approach first leverages a large diffusion model's prior knowledge to generate novel multi-view images with known poses to address sparse inputs and then reconstructs high-quality 3D teeth models by neural surface reconstruction. To ensure the 3D consistency across generated views, we integrate a 3D-aware feature attention mechanism in the reverse diffusion process. Moreover, a geometry-aware normal loss is incorporated into the teeth reconstruction process to enhance geometry accuracy. Extensive experiments demonstrate the superiority of our method over current state-of-the-arts, giving the potential to monitor orthodontic treatment remotely. Our code is available at https://github.com/ShanghaiTech-IMPACT/TeethDreamer
- Abstract(参考訳): 矯正治療は通常、患者の歯の状態を監視するために、顔と顔の定期的な検査を必要とする。
人体診断が不可能な場合、遠隔歯科監視に5枚の口腔内写真を使用する方法がある。
しかし, 3D 情報がないため, 疎視写真から 3D モデルをどのように再構築するかが課題である。
そこで本研究では,上下顎歯の形状と位置の復元を目的とした3次元再構築フレームワークTeethDreamerを提案する。
口腔内5枚の写真から,まず大きな拡散モデルの先行知識を生かして,スパース入力に対処する新しい多視点画像を生成し,その後,神経表面再構成により高品質な3次元歯形を再構築する。
生成したビュー間の3D整合性を確保するために,逆拡散プロセスに3D対応機能アテンション機構を統合する。
さらに、歯の再建工程には、幾何学的認識の正常な損失が組み込まれ、幾何学的精度が向上する。
広汎な実験により,術式が現状よりも優れていることが示され,遠隔での矯正治療の監視が可能となった。
私たちのコードはhttps://github.com/ShanghaiTech-IMPACT/TeethDreamerで利用可能です。
関連論文リスト
- 3D Structure-guided Network for Tooth Alignment in 2D Photograph [47.51314162367702]
矯正治療に先立って歯列が整列した2次元写真は, 効果的な歯科医療コミュニケーションに不可欠である。
本稿では2次元画像空間内の歯を入力として2次元写真を取り,アライメントする3次元構造誘導歯列ネットワークを提案する。
本研究は, 各種顔写真におけるネットワークの評価を行い, 歯科矯正産業における特筆すべき性能と高い適用性を示した。
論文 参考訳(メタデータ) (2023-10-17T09:44:30Z) - Oral-3Dv2: 3D Oral Reconstruction from Panoramic X-Ray Imaging with
Implicit Neural Representation [3.8215162658168524]
Oral-3Dv2は、単一のパノラマX線画像から3Dラジオロジーを再構成する非逆学習モデルである。
本モデルは,2次元座標を3次元空間内のボクセルの密度値にマッピングすることにより,暗黙的に3次元口腔構造を表現することを学習する。
我々の知る限りでは、これは1枚のパノラマX線画像から3Dラジオグラフィ再構成における非逆学習モデルの最初の作品である。
論文 参考訳(メタデータ) (2023-03-21T18:17:27Z) - OrthoGAN:High-Precision Image Generation for Teeth Orthodontic
Visualization [17.647161676763478]
正面顔画像における仮想歯列アライメント効果をシミュレーションする効率的なシステムを構築した。
複数モードのエンコーダ・デコーダをベースとした生成モデルを設計し, 歯の整列による顔画像の合成を行う。
論文 参考訳(メタデータ) (2022-12-29T03:12:47Z) - ToothInpaintor: Tooth Inpainting from Partial 3D Dental Model and 2D
Panoramic Image [35.72913439096702]
矯正治療では、クラウンとルートの両方からなる完全な歯のモデルが不可欠である。
本稿では, 部分的な3次元歯科モデルと2次元パノラマ画像とを入力として用いた, ToothInpaintor と呼ばれるニューラルネットワークを提案する。
我々は,ニューラルネットワークを用いて学習した潜伏空間に入力を投影し,入力に条件付けされた歯の完全なモデルを得ることに成功した。
論文 参考訳(メタデータ) (2022-11-25T18:15:22Z) - An Implicit Parametric Morphable Dental Model [79.29420177904022]
歯および歯茎の3次元異形性モデルとして, 第一報を提出した。
これは、各歯と歯茎のコンポーネントワイド表現と、これら各コンポーネントの学習可能な潜在コードに基づいている。
我々の復元品質は、新しいアプリケーションを実現しつつ、最も先進的なグローバルな暗黙の表現と同等です。
論文 参考訳(メタデータ) (2022-11-21T12:23:54Z) - 3D Reconstruction of Curvilinear Structures with Stereo Matching
DeepConvolutional Neural Networks [52.710012864395246]
本稿では,立体対における曲線構造の検出とマッチングのための完全自動パイプラインを提案する。
主に、TEM画像のステレオ対から転位を3次元再構成することに焦点を当てる。
論文 参考訳(メタデータ) (2021-10-14T23:05:47Z) - Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face
Reconstruction [76.1612334630256]
我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。
3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
論文 参考訳(メタデータ) (2021-05-16T16:35:44Z) - OSTeC: One-Shot Texture Completion [86.23018402732748]
ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。
提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。
完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
論文 参考訳(メタデータ) (2020-12-30T23:53:26Z) - Oral-3D: Reconstructing the 3D Bone Structure of Oral Cavity from 2D
Panoramic X-ray [17.34835093235681]
歯科用アーチの1枚のPX画像と先行情報から3次元口腔を再構築するフレームワークOral-3Dを提案する。
口腔3Dは, 3次元口腔構造を効率的にかつ効果的に再構築し, 臨床応用において重要な情報を示すことができることを示す。
論文 参考訳(メタデータ) (2020-03-18T18:02:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。