論文の概要: Lifting Scheme-Based Implicit Disentanglement of Emotion-Related Facial Dynamics in the Wild

• arxiv url: http://arxiv.org/abs/2412.13168v1
• Date: Tue, 17 Dec 2024 18:45:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 17:09:38.825853
• Title: Lifting Scheme-Based Implicit Disentanglement of Emotion-Related Facial Dynamics in the Wild
• Title（参考訳）: 野生における感情関連顔面動態のリフティング・スキームによるインシシトな絡み合い
• Authors: Xingjian Wang, Li Chai,
• Abstract要約: IFDD(Implicit Facial Dynamics Disentanglement framework)を提案する。 IFDDは感情に無関係な世界的文脈から感情に関連する動的情報を暗黙的に切り離す。 In-the-wildデータセットの実験では、IFDDが以前の教師付きDFER法より優れていることが示されている。
• 参考スコア（独自算出の注目度）: 3.3905929183808796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-the-wild Dynamic facial expression recognition (DFER) encounters a significant challenge in recognizing emotion-related expressions, which are often temporally and spatially diluted by emotion-irrelevant expressions and global context respectively. Most of the prior DFER methods model tightly coupled spatiotemporal representations which may incorporate weakly relevant features, leading to information redundancy and emotion-irrelevant context bias. Several DFER methods have highlighted the significance of dynamic information, but utilize explicit manners to extract dynamic features with overly strong prior knowledge. In this paper, we propose a novel Implicit Facial Dynamics Disentanglement framework (IFDD). Through expanding wavelet lifting scheme to fully learnable framework, IFDD disentangles emotion-related dynamic information from emotion-irrelevant global context in an implicit manner, i.e., without exploit operations and external guidance. The disentanglement process of IFDD contains two stages, i.e., Inter-frame Static-dynamic Splitting Module (ISSM) for rough disentanglement estimation and Lifting-based Aggregation-Disentanglement Module (LADM) for further refinement. Specifically, ISSM explores inter-frame correlation to generate content-aware splitting indexes on-the-fly. We preliminarily utilize these indexes to split frame features into two groups, one with greater global similarity, and the other with more unique dynamic features. Subsequently, LADM first aggregates these two groups of features to obtain fine-grained global context features by an updater, and then disentangles emotion-related facial dynamic features from the global context by a predictor. Extensive experiments on in-the-wild datasets have demonstrated that IFDD outperforms prior supervised DFER methods with higher recognition accuracy and comparable efficiency.
• Abstract（参考訳）: 動的表情認識(DFER)は感情関連表現の認識において重要な課題に遭遇し、感情関連表現と世界的文脈によって時間的・空間的に希釈されることが多い。 従来のDFER手法のほとんどは、弱い関係のある特徴を組み込んだ密結合時空間表現をモデル化し、情報冗長性と感情非関連文脈バイアスをもたらす。 いくつかのDFER法は、動的情報の重要性を強調しているが、明示的な方法を用いて、過度に強い事前知識を持つ動的な特徴を抽出している。 本稿では,IFDD(Implicit Facial Dynamics Disentanglement framework)を提案する。 完全学習可能なフレームワークにウェーブレットリフトスキームを拡張することにより、IFDDは感情に関連のないグローバルコンテキストから、操作や外部ガイダンスを使わずに、暗黙の方法で感情関連の動的情報を解き放つ。 IFDDの解離過程は、ラフな解離推定のためのフレーム間静的分割モジュール (ISSM) と、さらなる改良のためのリフティングに基づく解離解離解離モジュール (LADM) の2段階を含む。 具体的には、ISSMはフレーム間の相関を調べ、コンテンツ認識スプリットインデックスをオンザフライで生成する。 予めこれらの指標を用いてフレーム特徴を2つのグループに分割し,その1つはより大域的類似性を持つもので,もう1つはより特異な動的特徴を持つものである。 その後、LADMはまずこれらの2つの特徴グループを集約し、更新器によって細粒度のグローバルなコンテキスト特徴を取得し、それから予測器によってグローバルなコンテキストから感情に関連した顔の動的特徴をアンハングリングする。 In-the-wildデータセットの大規模な実験により、IFDDは、より高い認識精度と同等の効率で、教師付きDFERメソッドよりも優れた性能を示すことが示された。

関連論文リスト

• Let Synthetic Data Shine: Domain Reassembly and Soft-Fusion for Single Domain Generalization [68.41367635546183]
  単一ドメインの一般化は、単一のソースからのデータを使用して、さまざまなシナリオで一貫したパフォーマンスでモデルをトレーニングすることを目的としている。 モデル一般化を改善するために合成データを活用した学習フレームワークDRSFを提案する。
  論文  参考訳（メタデータ） (2025-03-17T18:08:03Z)
• Zero-Shot Interactive Text-to-Image Retrieval via Diffusion-Augmented Representations [7.439049772394586]
  Diffusion Augmented Retrieval (DAR)はMLLMの微調整を完全に回避したパラダイムシフトフレームワークである。 DARは、Diffusion Model (DM) ベースの視覚合成を用いて、LLM(Large Language Model) 誘導クエリ改善をシナジし、文脈的にリッチな中間表現を生成する。
  論文  参考訳（メタデータ） (2025-01-26T03:29:18Z)
• Spatio-Temporal Fuzzy-oriented Multi-Modal Meta-Learning for Fine-grained Emotion Recognition [26.73957526115721]
  細粒度感情認識(FER)は、疾患診断、パーソナライズされたレコメンデーション、マルチメディアマイニングなど、様々な分野で重要な役割を果たしている。 既存のFERメソッドは、現実の応用において3つの重要な課題に直面している: (i) 感情は複雑で時間を要するため正確性を確保するために、大量の注釈付きデータに依存している; (ii) サンプリング期間内の時間的相関が同じであると仮定するため、感情パターンの変化に起因する時間的不均一性を捉えることができない; (iii) 異なるFERシナリオの空間的不均一性、すなわち、感情の分布を考慮しない。
  論文  参考訳（メタデータ） (2024-12-18T06:40:53Z)
• UniLearn: Enhancing Dynamic Facial Expression Recognition through Unified Pre-Training and Fine-Tuning on Images and Videos [83.48170683672427]
  UniLearnは、静的表情認識データを統合してDFERタスクを強化する統一学習パラダイムである。 UniLearnは、FERV39K、MAFW、DFEWのベンチマークにおいて、それぞれ53.65%、58.44%、76.68%の重み付き平均リコール(WAR)で常に最先端のパフォーマンスを保っている。
  論文  参考訳（メタデータ） (2024-09-10T01:57:57Z)
• All rivers run into the sea: Unified Modality Brain-like Emotional Central Mechanism [32.742064026327334]
  UMBEnetは脳に似た統合型モーダル感情処理ネットワークである。 UMBEnetの基本設計は、プロンプトプールとスパースフィーチャーフュージョン(SFF)モジュールで固有のプロンプトを融合するデュアルストリーム(DS)構造である。 Dynamic Facial Expression Recognition (DFER)フィールドにおける最大のベンチマークデータセットの実験では、UMBEnetは現在の最先端メソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-07-22T12:26:31Z)
• MASA: Motion-aware Masked Autoencoder with Semantic Alignment for Sign Language Recognition [94.56755080185732]
  本研究では,リッチモーションキューとグローバルセマンティック情報を統合したセマンティックアライメント(MASA)を用いたMotion-Awareマスク付きオートエンコーダを提案する。 我々のフレームワークは,包括的手話表現のための局所的な動きの手がかりとグローバルな意味的特徴を同時に学習することができる。
  論文  参考訳（メタデータ） (2024-05-31T08:06:05Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• From Static to Dynamic: Adapting Landmark-Aware Image Models for Facial Expression Recognition in Videos [88.08209394979178]
  野生における動的表情認識(DFER)は、データ制限によって依然として妨げられている。 抽出された顔のランドマーク認識機能に暗黙的に符号化された既存のSFER知識と動的情報を活用する新しい静的・動的モデル(S2D)を提案する。
  論文  参考訳（メタデータ） (2023-12-09T03:16:09Z)
• DytanVO: Joint Refinement of Visual Odometry and Motion Segmentation in Dynamic Environments [6.5121327691369615]
  動的環境を扱う最初の教師付き学習ベースVO法であるDytanVOを提案する。 実世界の動的環境における最先端VOソリューションよりも平均27.7%向上した。
  論文  参考訳（メタデータ） (2022-09-17T23:56:03Z)
• Fusion with Hierarchical Graphs for Mulitmodal Emotion Recognition [7.147235324895931]
  本稿では,より情報に富んだマルチモーダル表現を学習する階層型グラフネットワーク(HFGCN)モデルを提案する。 具体的には,2段階グラフ構築手法を用いてマルチモーダル入力を融合し,モダリティ依存性を会話表現にエンコードする。 実験により,より正確なAERモデルの有効性が示された。
  論文  参考訳（メタデータ） (2021-09-15T08:21:01Z)
• Referring Image Segmentation via Cross-Modal Progressive Comprehension [94.70482302324704]
  画像セグメンテーションの参照は、自然言語表現で与えられた記述によく一致するエンティティの前景マスクをセグメンテーションすることを目的としている。 従来のアプローチでは、暗黙的な特徴相互作用と視覚的モダリティと言語的モダリティの融合を用いてこの問題に対処していた。 本稿では,この課題に効果的に対応するために,Cross-Modal Progressive (CMPC) モジュールと Text-Guided Feature Exchange (TGFE) モジュールを提案する。
  論文  参考訳（メタデータ） (2020-10-01T16:02:30Z)
• Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification [208.1227090864602]
  Visible-infrared person re-identification (VI-ReID) は、歩行者検索の課題である。 既存のVI-ReID法は、識別可能性に制限があり、ノイズの多い画像に対して弱いロバスト性を持つグローバル表現を学習する傾向にある。 そこで我々は,VI-ReIDのための動的二段階集合(DDAG)学習法を提案する。
  論文  参考訳（メタデータ） (2020-07-18T03:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。