論文の概要: High Fidelity 3D Hand Shape Reconstruction via Scalable Graph Frequency Decomposition

• arxiv url: http://arxiv.org/abs/2307.05541v1
• Date: Sat, 8 Jul 2023 19:26:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 16:27:04.296499
• Title: High Fidelity 3D Hand Shape Reconstruction via Scalable Graph Frequency Decomposition
• Title（参考訳）: スケーラブルグラフ周波数分解による高忠実度3次元手形状再構成
• Authors: Tianyu Luan, Yuanhao Zhai, Jingjing Meng, Zhong Li, Zhang Chen, Yi Xu, and Junsong Yuan
• Abstract要約: 周波数分割ネットワークを設計し,周波数帯域の異なる3次元ハンドメッシュを粗い方法で生成する。 高周波パーソナライズされた詳細を捉えるため、3Dメッシュを周波数領域に変換し、新しい周波数分解損失を提案する。 提案手法は高忠実度3次元手指再建のための微細な細部情報を生成する。
• 参考スコア（独自算出の注目度）: 77.29516516532439
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the impressive performance obtained by recent single-image hand modeling techniques, they lack the capability to capture sufficient details of the 3D hand mesh. This deficiency greatly limits their applications when high-fidelity hand modeling is required, e.g., personalized hand modeling. To address this problem, we design a frequency split network to generate 3D hand mesh using different frequency bands in a coarse-to-fine manner. To capture high-frequency personalized details, we transform the 3D mesh into the frequency domain, and propose a novel frequency decomposition loss to supervise each frequency component. By leveraging such a coarse-to-fine scheme, hand details that correspond to the higher frequency domain can be preserved. In addition, the proposed network is scalable, and can stop the inference at any resolution level to accommodate different hardware with varying computational powers. To quantitatively evaluate the performance of our method in terms of recovering personalized shape details, we introduce a new evaluation metric named Mean Signal-to-Noise Ratio (MSNR) to measure the signal-to-noise ratio of each mesh frequency component. Extensive experiments demonstrate that our approach generates fine-grained details for high-fidelity 3D hand reconstruction, and our evaluation metric is more effective for measuring mesh details compared with traditional metrics.
• Abstract（参考訳）: 最近のシングルイメージハンドモデリング技術によって得られた印象的なパフォーマンスにもかかわらず、3Dハンドメッシュの十分な詳細をキャプチャする能力は欠如している。 この不足は、例えばパーソナライズドハンドモデリングのような高忠実度ハンドモデリングが必要な場合に、彼らのアプリケーションを大幅に制限する。 そこで我々は,周波数分割ネットワークを設計し,周波数帯域の異なる3次元ハンドメッシュを粗い方法で生成する。 高頻度パーソナライズドディテールをキャプチャするために、3dメッシュを周波数領域に変換し、各周波数成分を監督する新しい周波数分解損失を提案する。 このような粗い細かなスキームを活用することで、高い周波数領域に対応する手の詳細を保存できる。 さらに、提案するネットワークはスケーラブルであり、様々な計算能力を持つ異なるハードウェアに対応するため、任意の解像度レベルでの推論を停止することができる。 本手法の性能を定量的に評価するために,各メッシュ周波数成分の信号対雑音比を測定するために,平均信号対雑音比(msnr)と呼ばれる新しい評価指標を提案する。 広範な実験により,高忠実度3次元ハンドリコンストラクションのための細かな詳細情報を生成し,従来の測定値と比較して,メッシュの詳細を測定する上で評価基準がより効果的であることを実証した。

関連論文リスト

• WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild [53.288327629960364]
  野生における効率的なマルチハンド再構築のためのデータ駆動パイプラインを提案する。 提案するパイプラインは、リアルタイム完全畳み込みハンドローカライゼーションと、高忠実度トランスフォーマーに基づく3Dハンド再構成モデルという2つのコンポーネントで構成されている。 提案手法は, 一般的な2次元および3次元のベンチマークにおいて, 効率と精度の両方において, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-18T18:46:51Z)
• Implicit Neural Representations with Fourier Kolmogorov-Arnold Networks [4.499833362998488]
  入射神経表現(INR)は、複雑な信号の連続的および分解非依存的な表現を提供するためにニューラルネットワークを使用する。 提案したFKANは、第1層のフーリエ級数としてモデル化された学習可能なアクティベーション関数を用いて、タスク固有の周波数成分を効果的に制御し、学習する。 実験結果から,提案したFKANモデルは,最先端の3つのベースラインスキームよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-14T05:53:33Z)
• WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
  深部画像登録は異常な精度と高速な推測を示した。 近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。 本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
  論文  参考訳（メタデータ） (2024-07-18T11:51:01Z)
• NeRF-DetS: Enhancing Multi-View 3D Object Detection with Sampling-adaptive Network of Continuous NeRF-based Representation [60.47114985993196]
  NeRF-Detは、新しいビュー演算と3D知覚のタスクを統一する。 我々は,新しい3次元知覚ネットワーク構造であるNeRF-DetSを導入する。 NeRF-DetSはScanNetV2データセット上で競合するNeRF-Detより優れている。
  論文  参考訳（メタデータ） (2024-04-22T06:59:03Z)
• Deep Spectral Meshes: Multi-Frequency Facial Mesh Processing with Graph Neural Networks [1.170907599257096]
  メッシュ変形を低周波・高周波変形に分解する手法として,スペクトルメッシュを導入した。 提案フレームワーク上に3次元顔メッシュ合成のためのパラメトリックモデルを構築した。 このモデルでは、異なる周波数レベルを異なる、より適切な表現で表現することで、スペクトル分割をさらに活用する。
  論文  参考訳（メタデータ） (2024-02-15T23:17:08Z)
• Frequency-Adaptive Pan-Sharpening with Mixture of Experts [22.28680499480492]
  パンシャーピングのための新しい周波数適応型エキスパート混合学習フレームワーク(FAME)を提案する。 本手法は他の最先端技術に対して最善を尽くし,現実のシーンに対して強力な一般化能力を有する。
  論文  参考訳（メタデータ） (2024-01-04T08:58:25Z)
• HartleyMHA: Self-Attention in Frequency Domain for Resolution-Robust and Parameter-Efficient 3D Image Segmentation [4.48473804240016]
  本稿では,効率的な自己注意による画像解像度のトレーニングに頑健なHartleyMHAモデルを提案する。 我々は、モデルサイズを桁違いに小さくするために、共有パラメータを持つハートレー変換を用いてFNOを変更する。 BraTS'19データセットでテストすると、モデルパラメータの1%未満の他のテストモデルよりも、画像解像度のトレーニングに優れた堅牢性を達成した。
  論文  参考訳（メタデータ） (2023-10-05T18:44:41Z)
• Neural Progressive Meshes [54.52990060976026]
  本稿では,共有学習空間を用いた3次元メッシュの伝送手法を提案する。 分割型エンコーダ・デコーダアーキテクチャを用いて,この空間を学習する。 本手法は複雑な3次元形状を多種多様な形状で評価し, 圧縮率と復元品質の点で, ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-10T17:58:02Z)
• Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction [57.3636347704271]
  RGB画像からの3Dハンドメッシュ再構築は拡張現実(AR)を含む多くのアプリケーションに役立つ 本稿では,手指再建作業を3段階に分割し,新しいパイプラインを提案する。 高品質な指レベルのメッシュイメージアライメントを促進し、モデルをまとめて、リアルタイムな予測を実現することができます。
  論文  参考訳（メタデータ） (2021-09-03T20:42:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。