論文の概要: EVOKE: Emotion Enabled Virtual Avatar Mapping Using Optimized Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2401.06957v1
• Date: Sat, 13 Jan 2024 02:52:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 20:31:30.066585
• Title: EVOKE: Emotion Enabled Virtual Avatar Mapping Using Optimized Knowledge Distillation
• Title（参考訳）: EVOKE:最適化知識蒸留を用いた仮想アバターマッピング
• Authors: Maryam Nadeem, Raza Imam, Rouqaiah Al-Refai, Meriem Chkir, Mohamad Hoda, Abdulmotaleb El Saddik
• Abstract要約: 最適化KnowledgE蒸留(EVOKE)を用いた感情対応仮想アバターマッピングについて紹介する。 我々のフレームワークは,仮想環境内の3次元アバターに感情認識をシームレスに統合するように設計されている。
• 参考スコア（独自算出の注目度）: 3.490586236193294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As virtual environments continue to advance, the demand for immersive and emotionally engaging experiences has grown. Addressing this demand, we introduce Emotion enabled Virtual avatar mapping using Optimized KnowledgE distillation (EVOKE), a lightweight emotion recognition framework designed for the seamless integration of emotion recognition into 3D avatars within virtual environments. Our approach leverages knowledge distillation involving multi-label classification on the publicly available DEAP dataset, which covers valence, arousal, and dominance as primary emotional classes. Remarkably, our distilled model, a CNN with only two convolutional layers and 18 times fewer parameters than the teacher model, achieves competitive results, boasting an accuracy of 87% while demanding far less computational resources. This equilibrium between performance and deployability positions our framework as an ideal choice for virtual environment systems. Furthermore, the multi-label classification outcomes are utilized to map emotions onto custom-designed 3D avatars.
• Abstract（参考訳）: 仮想環境が進むにつれ、没入的で感情的な体験への需要が高まっている。 仮想環境内の3dアバターへの感情認識のシームレスな統合を目的とした軽量な感情認識フレームワークである、optimized knowledge distillation(evoke)を用いた感情対応仮想アバターマッピングを提案する。 提案手法は,公に入手可能なdeapデータセット上でのマルチラベル分類を含む知識蒸留を主観的感情クラスとして活用する。 注目すべきは、我々の蒸留モデルであるCNNは、2つの畳み込み層だけで、教師モデルより18倍少ないパラメータを持ち、計算資源をはるかに少なく要求しながら87%の精度で競合する結果が得られることである。 この性能とデプロイ可能性の均衡は、私たちのフレームワークを仮想環境システムにとって理想的な選択肢と位置づけています。 さらに,複数ラベルの分類結果を用いて,感情をカスタムデザインした3dアバターにマッピングする。

関連論文リスト

• Thelxinoë: Recognizing Human Emotions Using Pupillometry and Machine Learning [0.0]
  本研究は,現実的かつ感情的に共鳴するタッチインタラクションのための複数のセンサデータを統合することで,VR体験の向上を目的とした,Thelxino"eフレームワークに大きく貢献する。 我々の発見は、没入的でインタラクティブなVR環境を開発するための新しい道を開き、バーチャルタッチ技術の将来の進歩への道を開いた。
  論文  参考訳（メタデータ） (2024-03-27T21:14:17Z)
• Emotion Recognition from the perspective of Activity Recognition [0.0]
  人間の感情状態、行動、反応を現実世界の環境に適応させることは、潜伏した連続した次元を用いて達成できる。 感情認識システムが現実のモバイルおよびコンピューティングデバイスにデプロイされ統合されるためには、世界中の収集されたデータを考慮する必要がある。 本稿では,注目機構を備えた新しい3ストリームエンドツーエンドのディープラーニング回帰パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-24T18:53:57Z)
• Deep Imbalanced Learning for Multimodal Emotion Recognition in Conversations [15.705757672984662]
  会話におけるマルチモーダル感情認識(MERC)は、マシンインテリジェンスにとって重要な開発方向である。 MERCのデータの多くは自然に感情カテゴリーの不均衡な分布を示しており、研究者は感情認識に対する不均衡なデータの負の影響を無視している。 生データにおける感情カテゴリーの不均衡分布に対処するクラス境界拡張表現学習(CBERL)モデルを提案する。 我々は,IEMOCAPおよびMELDベンチマークデータセットの広範な実験を行い,CBERLが感情認識の有効性において一定の性能向上を達成したことを示す。
  論文  参考訳（メタデータ） (2023-12-11T12:35:17Z)
• Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
  人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。 本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。 ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
  論文  参考訳（メタデータ） (2023-08-04T10:28:48Z)
• Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
  ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。 具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。 設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
  論文  参考訳（メタデータ） (2023-07-11T03:40:10Z)
• MSA-GCN:Multiscale Adaptive Graph Convolution Network for Gait Emotion Recognition [6.108523790270448]
  本稿では,感情認識のためのマルチスケール適応グラフ畳み込みネットワーク(MSA-GCN)を提案する。 本モデルでは, 適応的選択的時空間畳み込みを設計し, コンボリューションカーネルを動的に選択し, 異なる感情のソフト・テンポラルな特徴を得る。 従来の最先端手法と比較して,提案手法は2つの公開データセット上で最高の性能を実現する。
  論文  参考訳（メタデータ） (2022-09-19T13:07:16Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• A Robust Framework for Deep Learning Approaches to Facial Emotion Recognition and Evaluation [0.17398560678845074]
  本稿では、FER用に開発したモデルを比較し、相互に比較するフレームワークを提案する。 AffectNetデータセットで、軽量な畳み込みニューラルネットワークをトレーニングする。 概念実証として提案したフレームワークを用いてWebアプリケーションを開発,デプロイする。
  論文  参考訳（メタデータ） (2022-01-30T02:10:01Z)
• Cloth Interactive Transformer for Virtual Try-On [106.21605249649957]
  本稿では,仮想試行作業のための2段階のインタラクティブトランス (CIT) 手法を提案する。 第1段階では, CITマッチングブロックを設計し, 着物非依存者情報と着物内布情報との長距離相関関係を正確に把握することを目的とした。 第2段階では,人物表現のグローバルな相互相互依存関係を確立するためのCIT推論ブロック,整形衣料品,およびそれに対応する整形布マスクを作成した。
  論文  参考訳（メタデータ） (2021-04-12T14:45:32Z)
• Pixel Codec Avatars [99.36561532588831]
  Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。 oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
  論文  参考訳（メタデータ） (2021-04-09T23:17:36Z)
• Emotional Semantics-Preserved and Feature-Aligned CycleGAN for Visual Emotion Adaptation [85.20533077846606]
  教師なしドメイン適応(UDA)は、あるラベル付きソースドメインで訓練されたモデルを別のラベル付きターゲットドメインに転送する問題を研究する。 本稿では,感情分布学習と支配的感情分類の両面での視覚的感情分析におけるUDAに着目した。 本稿では,CycleEmotionGAN++と呼ばれる,エンドツーエンドのサイクル整合対向モデルを提案する。
  論文  参考訳（メタデータ） (2020-11-25T01:31:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。