Fugu-MT 論文翻訳(概要): Ig3D: Integrating 3D Face Representations in Facial Expression Inference

論文の概要: Ig3D: Integrating 3D Face Representations in Facial Expression Inference

arxiv url: http://arxiv.org/abs/2408.16907v1
Date: Thu, 29 Aug 2024 21:08:07 GMT
ステータス: 処理完了
システム内更新日: 2024-09-02 16:58:54.768755
Title: Ig3D: Integrating 3D Face Representations in Facial Expression Inference
Title（参考訳）: Ig3D:表情推論における3次元顔表現の統合
Authors: Lu Dong, Xiao Wang, Srirangaraj Setlur, Venu Govindaraju, Ifeoma Nwogu,
Abstract要約: 本研究の目的は,表情推論タスクに3次元表現を統合することの影響を検討することである。まず、FEIタスクにおける2つの3次元顔表現(どちらも3次元形態素モデル、FLAMEに基づく)の性能を評価する。次に、既存の2D推論フレームワークと3D顔表現を統合するために、中間融合と後期融合という2つの融合アーキテクチャについて検討する。提案手法は,最先端のAffectNet VA推定とRAF-DB分類タスクより優れている。
参考スコア（独自算出の注目度）: 12.975434103690812
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reconstructing 3D faces with facial geometry from single images has allowed for major advances in animation, generative models, and virtual reality. However, this ability to represent faces with their 3D features is not as fully explored by the facial expression inference (FEI) community. This study therefore aims to investigate the impacts of integrating such 3D representations into the FEI task, specifically for facial expression classification and face-based valence-arousal (VA) estimation. To accomplish this, we first assess the performance of two 3D face representations (both based on the 3D morphable model, FLAME) for the FEI tasks. We further explore two fusion architectures, intermediate fusion and late fusion, for integrating the 3D face representations with existing 2D inference frameworks. To evaluate our proposed architecture, we extract the corresponding 3D representations and perform extensive tests on the AffectNet and RAF-DB datasets. Our experimental results demonstrate that our proposed method outperforms the state-of-the-art AffectNet VA estimation and RAF-DB classification tasks. Moreover, our method can act as a complement to other existing methods to boost performance in many emotion inference tasks.
Abstract（参考訳）: 顔の形状を1枚の画像から再構成することで、アニメーション、生成モデル、バーチャルリアリティーの大きな進歩を可能にした。しかし、この3D特徴で顔を表現する能力は、顔表情推測(FEI)コミュニティによって完全には研究されていない。そこで本研究では,これらの3次元表現をFEIタスクに組み込むことが,表情分類やVA推定に与える影響について検討する。そこで我々はまず,FEIタスクにおける2つの3次元顔表現(どちらも3次元形態素モデルであるFLAMEに基づく)の性能を評価する。さらに、既存の2D推論フレームワークと3D顔表現を統合するために、中間融合と後期融合という2つの融合アーキテクチャについて検討する。提案したアーキテクチャを評価するために,対応する3D表現を抽出し,AffectNetおよびRAF-DBデータセット上で広範囲なテストを行う。実験の結果,提案手法は最先端のAffectNet VA推定およびRAF-DB分類タスクより優れていることが示された。さらに,本手法は,多くの感情推論タスクのパフォーマンス向上のための既存手法の補完として機能する。

関連論文リスト

ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
論文参考訳（メタデータ） (2024-05-26T13:36:45Z)
SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
論文参考訳（メタデータ） (2024-04-01T21:23:03Z)
SERF: Fine-Grained Interactive 3D Segmentation and Editing with Radiance Fields [92.14328581392633]
放射場を用いた対話型3Dセグメンテーションと編集アルゴリズムを新たに導入し,これをSERFと呼ぶ。提案手法では,マルチビューアルゴリズムと事前学習した2Dモデルを統合することにより,ニューラルネットワーク表現を生成する。この表現に基づいて,局所的な情報を保存し,変形に頑健な新しい表面レンダリング技術を導入する。
論文参考訳（メタデータ） (2023-12-26T02:50:42Z)
RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation [50.35403070279804]
マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
論文参考訳（メタデータ） (2023-12-19T03:39:56Z)
A Generative Framework for Self-Supervised Facial Representation Learning [18.094262972295702]
自己教師付き表現学習は、ペア化されたデータセットに頼ることなく、強力な一般化能力に注目されるようになった。自己監督型顔表現学習は、顔のアイデンティティ、表情、ポーズや光といった外部要因の結合により未解決のままである。自己教師型顔表現のための新しい生成フレームワークであるLatentFaceを提案する。
論文参考訳（メタデータ） (2023-09-15T09:34:05Z)
MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文参考訳（メタデータ） (2022-08-18T00:48:15Z)
Are 3D Face Shapes Expressive Enough for Recognising Continuous Emotions and Action Unit Intensities? [1.2233362977312945]
この研究は、パラメトリックな3次元顔形状アライメントモデルに基づく有望な代替手段に焦点を当てている。我々は,最近の3次元顔アライメントモデルであるExpNet, 3DDFA-V2, DECA, EMOCAをベンチマークした。 AUs 4, 6, 10, 12, 25の3次元顔の特徴はAUs4, 6, 10, 12, 25の2次元顔の特徴と同等であるが,AUs全体の特徴ではない。
論文参考訳（メタデータ） (2022-07-03T20:19:06Z)
RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
論文参考訳（メタデータ） (2022-05-14T05:35:35Z)
Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
マルチビューRGB画像から新しい3次元顔再構成法を提案する。従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
論文参考訳（メタデータ） (2021-12-05T07:02:53Z)
Disentangled Face Identity Representations for joint 3D Face Recognition and Expression Neutralisation [20.854071758664297]
提案手法は,3次元顔が与えられた場合,不整合性表現を抽出するだけでなく,その同一性を予測しながら中性表現を伴う現実的な3次元顔を生成する。提案するネットワークは,(1)3次元顔から潜在表現を符号化するグラフ畳み込みオートエンコーダ(gca),(2)潜在表現を中性顔の表現に変換する生成逆ネットワーク(gan)、(3)3次元顔認識のための中性潜在表現を利用した識別サブネットワークの3つの構成要素から構成されている。
論文参考訳（メタデータ） (2021-04-20T22:33:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。