論文の概要: 3D Face Reconstruction From Radar Images

• arxiv url: http://arxiv.org/abs/2412.02403v2
• Date: Wed, 05 Feb 2025 12:26:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:25:19.171764
• Title: 3D Face Reconstruction From Radar Images
• Title（参考訳）: レーダー画像からの3次元顔再構成
• Authors: Valentin Braeutigam, Vanessa Wirth, Ingrid Ullmann, Christian Schüßler, Martin Vossiek, Matthias Berking, Bernhard Egger,
• Abstract要約: レーダ画像からの3次元再構成のための新しいモデルベース手法を提案する。 物理に基づくが微分不可能なレーダを用いた合成レーダ画像のデータセットを生成する。 このデータセットは、CNNベースのエンコーダをトレーニングし、3D形態素顔モデルのパラメータを推定するために使用される。 モデルベースオートエンコーダに解析バイシンセシス方式で再構築を行う。
• 参考スコア（独自算出の注目度）: 4.368588934007947
• License:
• Abstract: The 3D reconstruction of faces gains wide attention in computer vision and is used in many fields of application, for example, animation, virtual reality, and even forensics. This work is motivated by monitoring patients in sleep laboratories. Due to their unique characteristics, sensors from the radar domain have advantages compared to optical sensors, namely penetration of electrically non-conductive materials and independence of light. These advantages of radar signals unlock new applications and require adaptation of 3D reconstruction frameworks. We propose a novel model-based method for 3D reconstruction from radar images. We generate a dataset of synthetic radar images with a physics-based but non-differentiable radar renderer. This dataset is used to train a CNN-based encoder to estimate the parameters of a 3D morphable face model. Whilst the encoder alone already leads to strong reconstructions of synthetic data, we extend our reconstruction in an Analysis-by-Synthesis fashion to a model-based autoencoder. This is enabled by learning the rendering process in the decoder, which acts as an object-specific differentiable radar renderer. Subsequently, the combination of both network parts is trained to minimize both, the loss of the parameters and the loss of the resulting reconstructed radar image. This leads to the additional benefit, that at test time the parameters can be further optimized by finetuning the autoencoder unsupervised on the image loss. We evaluated our framework on generated synthetic face images as well as on real radar images with 3D ground truth of four individuals.
• Abstract（参考訳）: 顔の3D再構成はコンピュータビジョンにおいて広く注目され、アニメーション、バーチャルリアリティ、さらには法医学など、多くの分野の応用で使用されている。 この研究の動機は、睡眠実験室で患者を監視することである。 その特徴から、レーダー領域からのセンサーは、電気的に非導電性物質の侵入や光の独立といった光学センサーと比較して利点がある。 これらのレーダー信号の利点は、新しい応用を解き放ち、3D再構成フレームワークの適応を必要とする。 レーダ画像からの3次元再構成のための新しいモデルベース手法を提案する。 物理に基づくが微分不可能なレーダレンダを用いた合成レーダ画像のデータセットを生成する。 このデータセットは、CNNベースのエンコーダをトレーニングし、3D形態素顔モデルのパラメータを推定するために使用される。 エンコーダだけでは、合成データの強い再構成につながるが、我々は分析・バイ・シンセシス方式で再構成をモデルベースオートエンコーダに拡張する。 これは、オブジェクト固有の識別可能なレーダーレンダラーとして機能するデコーダでレンダリングプロセスを学ぶことで実現される。 その後、両方のネットワーク部品の組み合わせをトレーニングし、パラメータの損失と再構成されたレーダー画像の損失の両方を最小限に抑える。 テスト時には、イメージ損失を教師なしのオートエンコーダを微調整することで、パラメータをさらに最適化することができる。 生成した合成顔画像と実際のレーダー画像とを4人の人物の3次元地上真実で評価した。

関連論文リスト

• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
  Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。 このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。 我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2023-12-12T18:21:36Z)
• Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
  本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。 一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。 提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T17:56:01Z)
• VoloGAN: Adversarial Domain Adaptation for Synthetic Depth Data [0.0]
  本稿では,高品質な3Dモデルの合成RGB-D画像を,消費者の深度センサで生成可能なRGB-D画像に変換する対向領域適応ネットワークであるVoloGANを提案する。 本システムは,実世界の捕捉条件を再現した単一視点3次元再構成アルゴリズムにおいて,高精度なトレーニングデータを生成するのに特に有用である。
  論文  参考訳（メタデータ） (2022-07-19T11:30:41Z)
• Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
  1枚以上の画像から3D屋内シーンを没入する問題について検討する。 我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。 本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
  論文  参考訳（メタデータ） (2022-04-06T17:54:46Z)
• Differentiable Rendering for Synthetic Aperture Radar Imagery [0.0]
  本稿では,3次元コンピュータグラフィックスの手法とニューラルレンダリングを組み合わせた合成開口レーダ(SAR)画像の微分可能レンダリング手法を提案する。 高忠実度シミュレーションSARデータを用いた限られたSAR画像からの3次元オブジェクト再構成の逆画像問題に対するアプローチを実証する。
  論文  参考訳（メタデータ） (2022-04-04T05:27:40Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• 3DRIMR: 3D Reconstruction and Imaging via mmWave Radar based on Deep Learning [9.26903816093995]
  mmWaveレーダーは、低視認性、煙、ほこり、密集した霧環境において効果的なセンシング技術として示されている。 3DRIMR(3DRIMR)は,物体の3次元形状を高密度の細かなクラウド形式で再構成する深層学習型アーキテクチャである。 実験により,3DRIMRの3Dオブジェクト再構成の有効性が実証され,標準技術よりも性能が向上した。
  論文  参考訳（メタデータ） (2021-08-05T21:24:57Z)
• Learning to Drop Points for LiDAR Scan Synthesis [5.132259673802809]
  3Dシーンのジェネラティブモデリングは、モバイルロボットが信頼できない観察を改善するための重要なトピックです。 点雲に関する既存の研究のほとんどは、小さく均一な密度のデータに焦点を当てている。 移動ロボットで広く使われている3次元LiDAR点雲は、多数の点と様々な密度のために扱いにくい。 本論文では,リアルなLiDARデータを改良した2次元表現として合成する,ジェネレーティブ・アドバーサリ・ネットワークに基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T21:53:14Z)
• Recovering and Simulating Pedestrians in the Wild [81.38135735146015]
  本研究では,自動車の走行によって野生で捕獲されたセンサから歩行者の形状と動きを復元することを提案する。 再建された歩行者資産銀行をリアルな3Dシミュレーションシステムに組み込む。 シミュレーションしたLiDARデータを用いて,視覚知覚タスクに必要な実世界のデータ量を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2020-11-16T17:16:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。