論文の概要: Deep and Shallow Covariance Feature Quantization for 3D Facial Expression Recognition

• arxiv url: http://arxiv.org/abs/2105.05708v1
• Date: Wed, 12 May 2021 14:48:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-13 17:57:51.125732
• Title: Deep and Shallow Covariance Feature Quantization for 3D Facial Expression Recognition
• Title（参考訳）: 3次元表情認識のための深層および浅層共分散特徴量化
• Authors: Walid Hariri, Nadir Farah, Dinesh Kumar Vishwakarma
• Abstract要約: 顔認識のためのマルチモーダル2D+3D特徴に基づく手法を提案する。 3次元画像から浅い特徴と,変換された2次元画像から畳み込みニューラルネットワーク(cnn)を用いた深い特徴を抽出する。 BU-3DFEおよびBosphorusデータセットで高い分類性能を達成しました。
• 参考スコア（独自算出の注目度）: 7.773399781313892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Facial expressions recognition (FER) of 3D face scans has received a significant amount of attention in recent years. Most of the facial expression recognition methods have been proposed using mainly 2D images. These methods suffer from several issues like illumination changes and pose variations. Moreover, 2D mapping from 3D images may lack some geometric and topological characteristics of the face. Hence, to overcome this problem, a multi-modal 2D + 3D feature-based method is proposed. We extract shallow features from the 3D images, and deep features using Convolutional Neural Networks (CNN) from the transformed 2D images. Combining these features into a compact representation uses covariance matrices as descriptors for both features instead of single-handedly descriptors. A covariance matrix learning is used as a manifold layer to reduce the deep covariance matrices size and enhance their discrimination power while preserving their manifold structure. We then use the Bag-of-Features (BoF) paradigm to quantize the covariance matrices after flattening. Accordingly, we obtained two codebooks using shallow and deep features. The global codebook is then used to feed an SVM classifier. High classification performances have been achieved on the BU-3DFE and Bosphorus datasets compared to the state-of-the-art methods.
• Abstract（参考訳）: 近年,3次元顔スキャンによる表情認識(fer)が注目されている。 表情認識法の大部分は,主に2次元画像を用いて提案されている。 これらの方法は、照明の変化やポーズの変化など、いくつかの問題に苦しむ。 さらに、3次元画像からの2次元マッピングでは、顔の幾何的および位相的特徴が欠如している可能性がある。 そこで, この問題を解決するために, マルチモーダル2D+3D特徴量に基づく手法を提案する。 変換された2次元画像から3次元画像から浅部特徴と畳み込みニューラルネットワーク(CNN)を用いて深部特徴を抽出する。 これらの機能をコンパクトな表現に組み合わせると、共分散行列は、片手で記述子の代わりに両方の特徴のディスクリプタとして使われる。 共分散行列学習を多様体層として使用し、深共分散行列の大きさを小さくし、その多様体構造を維持しながらその識別力を増強する。 次に、Bag-of-Features(BoF)パラダイムを用いて、フラット化後の共分散行列を定量化する。 そこで我々は,浅層特徴と深層特徴を用いた2つのコードブックを得た。 グローバルコードブックはSVM分類器のフィードに使用される。 BU-3DFEとBosphorusのデータセットでは最先端の手法と比較して高い分類性能が達成されている。

関連論文リスト

• Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
  大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。 LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。 新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
  論文  参考訳（メタデータ） (2024-10-24T17:54:42Z)
• Robust 3D Point Clouds Classification based on Declarative Defenders [18.51700931775295]
  3Dポイントの雲は非構造的でスパースであり、2Dイメージは構造的で密度が高い。 本稿では,3次元点雲を2次元画像にマッピングする3つの異なるアルゴリズムについて検討する。 提案手法は敵攻撃に対する高い精度と堅牢性を示す。
  論文  参考訳（メタデータ） (2024-10-13T01:32:38Z)
• RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
  単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。 大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。 本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-10T19:40:26Z)
• Learning 3D Representations from 2D Pre-trained Models via Image-to-Point Masked Autoencoders [52.91248611338202]
  I2P-MAEという名前のイメージ・ツー・ポイント・マスケッド・オートエンコーダを用いて,2次元事前学習モデルから優れた3次元表現を得る方法を提案する。 自己教師付き事前学習により、よく学習された2D知識を利用して、3Dマスクによる自動エンコーディングをガイドする。 I2P-MAEは最先端の90.11%の精度、+3.68%の精度で第2ベストに到達し、より優れた転送能力を示す。
  論文  参考訳（メタデータ） (2022-12-13T17:59:20Z)
• Deep-MDS Framework for Recovering the 3D Shape of 2D Landmarks from a Single Image [8.368476827165114]
  本稿では,人間の顔上の2次元ランドマークの3次元形状を,単一の入力画像で再現する枠組みを提案する。 ディープニューラルネットワークは、NMDSアプローチで使用される2Dランドマーク間のペアの相似性を学習する。
  論文  参考訳（メタデータ） (2022-10-27T06:20:10Z)
• PointMCD: Boosting Deep Point Cloud Encoders via Multi-view Cross-modal Distillation for 3D Shape Recognition [55.38462937452363]
  本稿では,教師として事前訓練されたディープイメージエンコーダ,学生としてディープポイントエンコーダを含む多視点クロスモーダル蒸留アーキテクチャを提案する。 複数ビューの視覚的および幾何学的記述子をペアワイズにアライメントすることで、より強力なディープポイントエンコーダを、疲労や複雑なネットワーク修正を伴わずに得ることができる。
  論文  参考訳（メタデータ） (2022-07-07T07:23:20Z)
• End-to-End Learning of Multi-category 3D Pose and Shape Estimation [128.881857704338]
  本稿では,画像から2次元キーポイントを同時に検出し,それらを3次元に引き上げるエンド・ツー・エンド手法を提案する。 提案手法は2次元キーポイントアノテーションからのみ2次元検出と3次元リフトを学習する。 画像から3D学習へのエンドツーエンド化に加えて,1つのニューラルネットワークを用いて複数のカテゴリからのオブジェクトも処理する。
  論文  参考訳（メタデータ） (2021-12-19T17:10:40Z)
• Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
  マルチビューRGB画像から新しい3次元顔再構成法を提案する。 従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。 いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-12-05T07:02:53Z)
• Facial Depth and Normal Estimation using Single Dual-Pixel Camera [81.02680586859105]
  DP指向のDepth/Normalネットワークを導入し,3次元顔形状を再構成する。 これは、メートル法スケールでの深度マップと表面正規を含む、対応する地上3次元モデルを含んでいる。 近年のDPベース深度/正規推定法で最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-11-25T05:59:27Z)
• Hard Example Generation by Texture Synthesis for Cross-domain Shape Similarity Learning [97.56893524594703]
  画像に基づく3次元形状検索(IBSR)は、与えられた2次元画像の対応する3次元形状を、大きな3次元形状データベースから見つけることを目的としている。 いくつかの適応技法によるメートル法学習は、類似性学習を形作るための自然な解決策のようです。 テクスチャ合成を応用した幾何中心の多視点メトリック学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2020-10-23T08:52:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。