論文の概要: Deep Spectral Meshes: Multi-Frequency Facial Mesh Processing with Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2402.10365v1
• Date: Thu, 15 Feb 2024 23:17:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 18:08:06.433510
• Title: Deep Spectral Meshes: Multi-Frequency Facial Mesh Processing with Graph Neural Networks
• Title（参考訳）: ディープスペクトルメッシュ:グラフニューラルネットワークを用いた多周波顔面メッシュ処理
• Authors: Robert Kosk, Richard Southern, Lihua You, Shaojun Bian, Willem Kokke, Greg Maguire
• Abstract要約: メッシュ変形を低周波・高周波変形に分解する手法として,スペクトルメッシュを導入した。 提案フレームワーク上に3次元顔メッシュ合成のためのパラメトリックモデルを構築した。 このモデルでは、異なる周波数レベルを異なる、より適切な表現で表現することで、スペクトル分割をさらに活用する。
• 参考スコア（独自算出の注目度）: 1.170907599257096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rising popularity of virtual worlds, the importance of data-driven parametric models of 3D meshes has grown rapidly. Numerous applications, such as computer vision, procedural generation, and mesh editing, vastly rely on these models. However, current approaches do not allow for independent editing of deformations at different frequency levels. They also do not benefit from representing deformations at different frequencies with dedicated representations, which would better expose their properties and improve the generated meshes' geometric and perceptual quality. In this work, spectral meshes are introduced as a method to decompose mesh deformations into low-frequency and high-frequency deformations. These features of low- and high-frequency deformations are used for representation learning with graph convolutional networks. A parametric model for 3D facial mesh synthesis is built upon the proposed framework, exposing user parameters that control disentangled high- and low-frequency deformations. Independent control of deformations at different frequencies and generation of plausible synthetic examples are mutually exclusive objectives. A Conditioning Factor is introduced to leverage these objectives. Our model takes further advantage of spectral partitioning by representing different frequency levels with disparate, more suitable representations. Low frequencies are represented with standardised Euclidean coordinates, and high frequencies with a normalised deformation representation (DR). This paper investigates applications of our proposed approach in mesh reconstruction, mesh interpolation, and multi-frequency editing. It is demonstrated that our method improves the overall quality of generated meshes on most datasets when considering both the $L_1$ norm and perceptual Dihedral Angle Mesh Error (DAME) metrics.
• Abstract（参考訳）: 仮想世界の普及に伴い、データ駆動型3Dメッシュのパラメトリックモデルの重要性は急速に高まっている。 コンピュータビジョン、手続き生成、メッシュ編集など多くのアプリケーションは、これらのモデルに大きく依存している。 しかし、現在のアプローチでは、異なる周波数レベルで変形を独立に編集することはできない。 また、異なる周波数での変形を専用の表現で表現することで、その特性を露出させ、生成されたメッシュの幾何学的および知覚的品質を改善することができる。 本研究では,メッシュ変形を低周波・高周波変形に分解する方法として,スペクトルメッシュを導入した。 これらの低周波・高周波変形の特徴はグラフ畳み込みネットワークを用いた表現学習に用いられる。 3次元顔メッシュ合成のためのパラメトリックモデルが提案されたフレームワーク上に構築され、乱れ高周波変形と低周波変形を制御するユーザパラメータが露出する。 異なる周波数での変形の独立制御と可塑性合成例の生成は、互いに排他的な目的である。 これらの目的を活かすために条件付け因子が導入された。 本モデルでは,異なる周波数レベルを,より適切な表現で表現することで,スペクトル分割をさらに活用する。 低周波は標準ユークリッド座標で表され、高周波は正規化された変形表現(DR)で表される。 本稿では,メッシュ再構成,メッシュ補間,マルチ周波数編集における提案手法の適用について検討する。 L_1$標準とDAME(Dhedral Angle Mesh Error)メトリクスの両方を考慮すると,ほとんどのデータセット上で生成されたメッシュの全体的な品質が向上することが実証された。

関連論文リスト

• Point Cloud Denoising With Fine-Granularity Dynamic Graph Convolutional Networks [58.050130177241186]
  ノイズの摂動は、しばしば3次元の点雲を破損させ、表面の再構成、レンダリング、さらなる処理といった下流のタスクを妨げる。 本稿では,GDGCNと呼ばれる粒度動的グラフ畳み込みネットワークについて紹介する。
  論文  参考訳（メタデータ） (2024-11-21T14:19:32Z)
• 3D Equivariant Pose Regression via Direct Wigner-D Harmonics Prediction [50.07071392673984]
  既存の方法は、角度や四元数を用いて空間領域でパラメータ化された3次元回転を学習する。 本稿では,3次元回転回帰のためのWigner-D係数を直接予測する周波数領域アプローチを提案する。 提案手法は, ModelNet10-SO(3) や PASCAL3D+ などのベンチマーク上での最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-11-01T12:50:38Z)
• Ultron: Enabling Temporal Geometry Compression of 3D Mesh Sequences using Temporal Correspondence and Mesh Deformation [2.0914328542137346]
  既存の3Dモデル圧縮手法は主に静的モデルに焦点を当てており、フレーム間情報を考慮していない。 本稿では,時間的対応とメッシュ変形を用いた任意のトポロジでメッシュ列を圧縮する方法を提案する。
  論文  参考訳（メタデータ） (2024-09-08T16:34:19Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• SD-MVS: Segmentation-Driven Deformation Multi-View Stereo with Spherical Refinement and EM optimization [6.886220026399106]
  テクスチャレス領域の3次元再構成における課題を解決するために,多視点ステレオ (SD-MVS) を導入する。 私たちは、シーン内のセグメンテーションインスタンスを区別するためにSAM(Segment Anything Model)を採用した最初の人です。 球面座標と正規点の勾配勾配と深度の画素方向探索間隔を組み合わせた独自の精細化戦略を提案する。
  論文  参考訳（メタデータ） (2024-01-12T05:25:57Z)
• Learning Modulated Transformation in GANs [69.95217723100413]
  生成逆数ネットワーク(GAN)のジェネレータに、変調変換モジュール(Modulated transformation module, MTM)と呼ばれるプラグアンドプレイモジュールを装備する。 MTMは、可変位置で畳み込み操作を適用可能な潜在符号の制御下で空間オフセットを予測する。 挑戦的なTaiChiデータセット上での人為的な生成に向けて、StyleGAN3のFIDを21.36から13.60に改善し、変調幾何変換の学習の有効性を実証した。
  論文  参考訳（メタデータ） (2023-08-29T17:51:22Z)
• High Fidelity 3D Hand Shape Reconstruction via Scalable Graph Frequency Decomposition [77.29516516532439]
  周波数分割ネットワークを設計し,周波数帯域の異なる3次元ハンドメッシュを粗い方法で生成する。 高周波パーソナライズされた詳細を捉えるため、3Dメッシュを周波数領域に変換し、新しい周波数分解損失を提案する。 提案手法は高忠実度3次元手指再建のための微細な細部情報を生成する。
  論文  参考訳（メタデータ） (2023-07-08T19:26:09Z)
• Neural Volumetric Mesh Generator [40.224769507878904]
  新規かつ高品質なボリュームメッシュを生成することができるニューラルボリュームメッシュジェネレータ(NVMG)を提案する。 我々のパイプラインは、ランダムノイズや参照画像から、後処理なしで高品質なアーチファクトフリーのボリュームとサーフェスメッシュを生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:46:51Z)
• Simpler is better: spectral regularization and up-sampling techniques for variational autoencoders [1.2234742322758418]
  ニューラルネットワークに基づく生成モデルのスペクトル挙動のキャラクタリゼーションは未解決のままである。 最近の研究は、生成的対向ネットワークと、実画像と生成画像の高周波の相違に重点を置いている。 変分オートエンコーダ(VAE)のための単純な2次元フーリエ変換に基づくスペクトル正規化損失を提案する。
  論文  参考訳（メタデータ） (2022-01-19T11:49:57Z)
• Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
  Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。 提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-06-15T09:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。