論文の概要: High Fidelity 3D Hand Shape Reconstruction via Scalable Graph Frequency
Decomposition
- arxiv url: http://arxiv.org/abs/2307.05541v1
- Date: Sat, 8 Jul 2023 19:26:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-13 16:27:04.296499
- Title: High Fidelity 3D Hand Shape Reconstruction via Scalable Graph Frequency
Decomposition
- Title(参考訳): スケーラブルグラフ周波数分解による高忠実度3次元手形状再構成
- Authors: Tianyu Luan, Yuanhao Zhai, Jingjing Meng, Zhong Li, Zhang Chen, Yi Xu,
and Junsong Yuan
- Abstract要約: 周波数分割ネットワークを設計し,周波数帯域の異なる3次元ハンドメッシュを粗い方法で生成する。
高周波パーソナライズされた詳細を捉えるため、3Dメッシュを周波数領域に変換し、新しい周波数分解損失を提案する。
提案手法は高忠実度3次元手指再建のための微細な細部情報を生成する。
- 参考スコア(独自算出の注目度): 77.29516516532439
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the impressive performance obtained by recent single-image hand
modeling techniques, they lack the capability to capture sufficient details of
the 3D hand mesh. This deficiency greatly limits their applications when
high-fidelity hand modeling is required, e.g., personalized hand modeling. To
address this problem, we design a frequency split network to generate 3D hand
mesh using different frequency bands in a coarse-to-fine manner. To capture
high-frequency personalized details, we transform the 3D mesh into the
frequency domain, and propose a novel frequency decomposition loss to supervise
each frequency component. By leveraging such a coarse-to-fine scheme, hand
details that correspond to the higher frequency domain can be preserved. In
addition, the proposed network is scalable, and can stop the inference at any
resolution level to accommodate different hardware with varying computational
powers. To quantitatively evaluate the performance of our method in terms of
recovering personalized shape details, we introduce a new evaluation metric
named Mean Signal-to-Noise Ratio (MSNR) to measure the signal-to-noise ratio of
each mesh frequency component. Extensive experiments demonstrate that our
approach generates fine-grained details for high-fidelity 3D hand
reconstruction, and our evaluation metric is more effective for measuring mesh
details compared with traditional metrics.
- Abstract(参考訳): 最近のシングルイメージハンドモデリング技術によって得られた印象的なパフォーマンスにもかかわらず、3Dハンドメッシュの十分な詳細をキャプチャする能力は欠如している。
この不足は、例えばパーソナライズドハンドモデリングのような高忠実度ハンドモデリングが必要な場合に、彼らのアプリケーションを大幅に制限する。
そこで我々は,周波数分割ネットワークを設計し,周波数帯域の異なる3次元ハンドメッシュを粗い方法で生成する。
高頻度パーソナライズドディテールをキャプチャするために、3dメッシュを周波数領域に変換し、各周波数成分を監督する新しい周波数分解損失を提案する。
このような粗い細かなスキームを活用することで、高い周波数領域に対応する手の詳細を保存できる。
さらに、提案するネットワークはスケーラブルであり、様々な計算能力を持つ異なるハードウェアに対応するため、任意の解像度レベルでの推論を停止することができる。
本手法の性能を定量的に評価するために,各メッシュ周波数成分の信号対雑音比を測定するために,平均信号対雑音比(msnr)と呼ばれる新しい評価指標を提案する。
広範な実験により,高忠実度3次元ハンドリコンストラクションのための細かな詳細情報を生成し,従来の測定値と比較して,メッシュの詳細を測定する上で評価基準がより効果的であることを実証した。
関連論文リスト
- Deep Spectral Meshes: Multi-Frequency Facial Mesh Processing with Graph
Neural Networks [1.170907599257096]
メッシュ変形を低周波・高周波変形に分解する手法として,スペクトルメッシュを導入した。
提案フレームワーク上に3次元顔メッシュ合成のためのパラメトリックモデルを構築した。
このモデルでは、異なる周波数レベルを異なる、より適切な表現で表現することで、スペクトル分割をさらに活用する。
論文 参考訳(メタデータ) (2024-02-15T23:17:08Z) - Frequency-Adaptive Pan-Sharpening with Mixture of Experts [22.28680499480492]
パンシャーピングのための新しい周波数適応型エキスパート混合学習フレームワーク(FAME)を提案する。
本手法は他の最先端技術に対して最善を尽くし,現実のシーンに対して強力な一般化能力を有する。
論文 参考訳(メタデータ) (2024-01-04T08:58:25Z) - HartleyMHA: Self-Attention in Frequency Domain for Resolution-Robust and
Parameter-Efficient 3D Image Segmentation [4.48473804240016]
本稿では,効率的な自己注意による画像解像度のトレーニングに頑健なHartleyMHAモデルを提案する。
我々は、モデルサイズを桁違いに小さくするために、共有パラメータを持つハートレー変換を用いてFNOを変更する。
BraTS'19データセットでテストすると、モデルパラメータの1%未満の他のテストモデルよりも、画像解像度のトレーニングに優れた堅牢性を達成した。
論文 参考訳(メタデータ) (2023-10-05T18:44:41Z) - Neural Progressive Meshes [54.52990060976026]
本稿では,共有学習空間を用いた3次元メッシュの伝送手法を提案する。
分割型エンコーダ・デコーダアーキテクチャを用いて,この空間を学習する。
本手法は複雑な3次元形状を多種多様な形状で評価し, 圧縮率と復元品質の点で, ベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-10T17:58:02Z) - WaveNeRF: Wavelet-based Generalizable Neural Radiance Fields [149.2296890464997]
我々は、ウェーブレット周波数分解をMVSとNeRFに統合したWaveNeRFを設計する。
WaveNeRFは、3つの画像のみを入力として与えたときに、より優れた一般化可能な放射場モデリングを実現する。
論文 参考訳(メタデータ) (2023-08-09T09:24:56Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳(メタデータ) (2023-03-22T18:59:48Z) - DH-GAN: A Physics-driven Untrained Generative Adversarial Network for 3D
Microscopic Imaging using Digital Holography [3.4635026053111484]
デジタルホログラフィー(Digital holography)は、平面波面を持つレーザービームを物体に放出し、ホログラムと呼ばれる回折波形の強度を測定する3Dイメージング技術である。
近年,より正確なホログラフィック処理に深層学習(DL)法が用いられている。
本稿では, 識別ネットワークを用いて, 復元品質のセマンティック尺度を実現する, 生成的敵ネットワークに基づく新しいDLアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-05-25T17:13:45Z) - Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction [57.3636347704271]
RGB画像からの3Dハンドメッシュ再構築は拡張現実(AR)を含む多くのアプリケーションに役立つ
本稿では,手指再建作業を3段階に分割し,新しいパイプラインを提案する。
高品質な指レベルのメッシュイメージアライメントを促進し、モデルをまとめて、リアルタイムな予測を実現することができます。
論文 参考訳(メタデータ) (2021-09-03T20:42:01Z) - Spatial-Spectral Residual Network for Hyperspectral Image
Super-Resolution [82.1739023587565]
ハイパースペクトル画像超解像のための新しいスペクトル空間残差ネットワーク(SSRNet)を提案する。
提案手法は,2次元畳み込みではなく3次元畳み込みを用いて空間スペクトル情報の探索を効果的に行うことができる。
各ユニットでは空間的・時間的分離可能な3次元畳み込みを用いて空間的・スペクトル的な情報を抽出する。
論文 参考訳(メタデータ) (2020-01-14T03:34:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。