論文の概要: Reweighting Framewise Attention in Video Transformers for Facial Expression Understanding

• arxiv url: http://arxiv.org/abs/2606.30611v2
• Date: Tue, 07 Jul 2026 11:48:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 19:12:31.242828
• Title: Reweighting Framewise Attention in Video Transformers for Facial Expression Understanding
• Title（参考訳）: 顔表情理解のためのビデオ変換器におけるフレームワイド注意の強調
• Abstract要約: 本稿では,微妙な顔力学を向上するViTのためのプラグインフレームマージアテンション再配布フレームワークを提案する。 MiRAは、フレーム単位の残差重要度を推定するために、自己アテンションマップからフレーム単位の信頼度内濃度統計を導出する。 我々はまず,ソフトマックス後の注意再分配に基づく基本的正確なモードを導入する。さらに効率を向上させるために,軽量なプレソフトマックス近似であるフラッシュライトモードを提案する。
• 参考スコア（独自算出の注目度）: 29.550303134506496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding facial expressions in videos requires modeling subtle and localized facial dynamics under unconstrained conditions. Although recent Vision Transformer (ViT)-based video models have shown strong performance through large-scale self-supervised pretraining, their attention mechanisms often emphasize dominant global motions and coarse temporal dynamics, limiting sensitivity to fine-grained facial variations. To address this limitation, we propose MiRA (Marginal-induced Attention Redistribution), a plug-in frame-marginal attention redistribution framework for ViT backbones that enhances spatio-temporal selectivity toward subtle facial dynamics without introducing additional trainable parameters. MiRA derives frame-level confidence and intra-frame concentration statistics from self-attention maps to estimate frame-wise marginal importance and redistribute attention toward spatiotemporally localized facial cues. We first introduce a principled exact mode based on post-softmax attention redistribution. To further improve efficiency, we propose flashLite mode, a lightweight pre-softmax approximation that integrates frame-marginal redistribution into FlashAttention kernels while preserving the effectiveness of the exact formulation. Experimental results on challenging Facial Expression Recognition (FER) benchmarks demonstrate consistent improvements over strong ViT baselines.
• Abstract（参考訳）: ビデオにおける表情を理解するには、制約のない条件下で微妙で局所的な顔のダイナミクスをモデル化する必要がある。 最近のビジョントランスフォーマー(ViT)ベースのビデオモデルでは、大規模な自己監督型事前訓練によって高いパフォーマンスを示しているが、その注意機構は、大域的な動きと粗い時間的ダイナミクスを強調し、微粒な顔の変化に対する感度を制限している。 この制限に対処するために,微妙な顔のダイナミックスに対する時空間選択性を高めるために,追加のトレーニングパラメータを導入することなく,プラグインフレームマージアテンション再分配フレームワークであるMiRA(Marginal-induced Attention Redistribution)を提案する。 MiRAは、フレーム単位の信頼度とフレーム内濃度の統計を自己注意マップから導き、フレーム単位の辺縁的重要性を推定し、時空間的局所的な顔の手がかりに対する再帰的注意を推定する。 まず、ソフトマックス後の注意再分配に基づいて、原理化された正確なモードを導入する。 さらに効率を向上させるために,FlashAttentionカーネルにフレームマージ再分配を統合する軽量なプレソフトマックス近似である flashLite モードを提案する。 顔表情認識(FER)ベンチマークの実験結果から、強力なViTベースラインよりも一貫した改善が示された。

関連論文リスト

• GMoT: Gated Motion-Aware Tokenization for Fine-Grained Micro-Gesture Video Reasoning with Multimodal LLMs [38.593314566875755]
  GMoTはGated Motion-Aware Tokenizationモジュールで、時相モデリングに先立ってスパース・キネマティック・エビデンスをコンパクトなシーケンスに蒸留する。 単純な分類からエビデンスに基づく推論へ移行するために、我々は、進歩的な報酬誘導政策改善パラダイムを導入する。 我々のGMoT拡張モデルは、ドメイン内の精度を向上し、ラベル保存汚職の下で明確な利得を維持し、精度指向のクロスドメイン転送を改善する。
  論文  参考訳（メタデータ） (2026-07-15T09:37:58Z)
• STAG: Spatio-temporal Evolving Structural Representation of Action Units for Micro-expression Recognition [0.7799711162530713]
  微小な表情認識は、微妙で短命な顔面筋運動のために困難である。 既存の手法は頂点オンセットのフレームに大きく依存し、微粒なフレーム間ダイナミクスを見落とし、空間情報と時間情報を別々にモデル化する。 本稿では,動的ROI-AU結合型時空間ネットワークSTAGを提案する。
  論文  参考訳（メタデータ） (2026-06-26T13:46:48Z)
• Stream-R1: Reliability-Perplexity Aware Reward Distillation for Streaming Video Generation [52.10062792673558]
  自動ストリーミングビデオ拡散モデルを実用化するために、蒸留ベースの加速が基礎となっている。 既存の方法は、すべてのロールアウト、フレーム、ピクセルを同様に信頼できる監視として扱う。 本稿では,信頼性に配慮したリワード蒸留フレームワークStream-R1を提案する。
  論文  参考訳（メタデータ） (2026-05-05T15:15:30Z)
• Focus-to-Perceive Representation Learning: A Cognition-Inspired Hierarchical Framework for Endoscopic Video Analysis [18.349979396713646]
  臨床検査をエミュレートする認知に触発された階層的枠組みであるフォーカス・ツー・パーセプティブ・ラーニング(FPRL)を提案する。 FPRLは最初、静的セマンティクスを学ぶためにフレーム内病変中心の領域に焦点を当て、フレーム間の進化を知覚してコンテキストセマンティクスをモデル化する。 11の内視鏡的ビデオデータセットの実験により、FPRLは様々な下流タスクで優れたパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2026-03-26T14:06:48Z)
• ReMA: A Training-Free Plug-and-Play Mixing Augmentation for Video Behavior Recognition [11.125637599538988]
  Representation-Aware Mixing (ReMA) は,ミキシングを制御された代替プロセスとして定式化するプラグアンドプレイ拡張戦略である。 ReMAは分布制約下でクラス内混合を行い、統計的信頼性を高めながらクラス内ドリフトの無関係を抑える。 どのように、どこでミキシングが適用されるかを共同で制御することで、ReMAは、追加の監督やトレーニング可能なパラメータなしで表現を改善する。
  論文  参考訳（メタデータ） (2026-01-01T11:20:19Z)
• Towards Arbitrary Motion Completing via Hierarchical Continuous Representation [64.6525112550758]
  Inlicit Representations(INR)に基づくNAMEと呼ばれる新しいパラメトリックアクティベーションによる階層的暗黙表現フレームワークを提案する。 本手法では,複数の時間スケールで動作列から特徴を抽出し,複雑な時間パターンを効果的に捕捉する階層的時間符号化機構を提案する。
  論文  参考訳（メタデータ） (2025-12-24T14:07:04Z)
• Reward Forcing: Efficient Streaming Video Generation with Rewarded Distribution Matching Distillation [69.57572900337176]
  本稿では,効率的なストリーミングビデオ生成のための新しいフレームワークであるReward Forcingを紹介する。 EMA-Sinkトークンは、長期コンテキストと最近のダイナミクスの両方をキャプチャし、初期フレームコピーを防ぐ。 Re-DMDは、視覚言語モデルにより評価されたより大きなダイナミックスを持つサンプルを優先順位付けすることで、モデル出力分布を高逆領域にバイアスする。
  論文  参考訳（メタデータ） (2025-12-04T11:12:13Z)
• Text-guided Weakly Supervised Framework for Dynamic Facial Expression Recognition [49.41688891301643]
  動的表情認識は、映像列間の顔の動きの時間的変化をモデル化することにより、感情状態の同定を目的としている。 DFERの重要な課題は、多数のフレームからなるビデオが単一の感情ラベルに割り当てられる、多対一のラベリングの問題である。 本稿では,テキスト誘導型弱教師付きフレームワークであるTG-DFERを提案する。
  論文  参考訳（メタデータ） (2025-11-14T04:49:58Z)
• Improving Micro-Expression Recognition with Phase-Aware Temporal Augmentation [0.0]
  マイクロ・エクスプレッション(ME)は、半秒未満の真の感情を示す、簡潔で不随意的な顔の動きである。 深層学習は、マイクロ圧縮認識(MER)に大きな進歩をもたらしたが、その効果は、注釈付きMEデータセットの不足によって制限されている。 本稿では動的画像に基づく位相認識時間拡張法を提案する。
  論文  参考訳（メタデータ） (2025-10-17T09:20:51Z)
• Hallo4: High-Fidelity Dynamic Portrait Animation via Direct Preference Optimization [43.81805412365791]
  人中心アニメーションに適した直接選好最適化を提案する。 第二に、提案した時間運動変調は、分解ミスマッチを解消する。 実験では, 口唇音の同期, 表情の鮮明さ, 体の動きのコヒーレンスをベースライン法より明らかに改善した。
  論文  参考訳（メタデータ） (2025-05-29T15:04:00Z)
• Generative Pre-trained Autoregressive Diffusion Transformer [74.25668109048418]
  GPDiT(GPDiT)は、自動回帰拡散変換器である。 長距離ビデオ合成における拡散と自己回帰モデリングの強みを統一する。 拡散損失を用いて将来の潜伏フレームを自動回帰予測し、運動力学の自然なモデリングを可能にする。
  論文  参考訳（メタデータ） (2025-05-12T08:32:39Z)
• Dynamic Token Reduction during Generation for Vision Language Models [11.376359442815986]
  視覚言語モデル(VLM)に適した動的プルーニング戦略を導入する。 提案手法は,注意分布に基づく刈り取り率の柔軟な調整を可能にする。 実験結果から,本手法は計算要求を低減させるだけでなく,応答の質も維持することが示された。
  論文  参考訳（メタデータ） (2025-01-24T03:20:37Z)
• FineCLIPER: Multi-modal Fine-grained CLIP for Dynamic Facial Expression Recognition with AdaptERs [5.35588281968644]
  適応器を用いた動的顔表情認識のためのマルチモーダルきめ細粒度CLIP(Fine CLIPER)を提案する。 我々のFine CLIPERは、パラメータが少ないDFEW、FERV39k、MAFWデータセットで調整可能なSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-07-02T10:55:43Z)
• From Static to Dynamic: Adapting Landmark-Aware Image Models for Facial Expression Recognition in Videos [88.08209394979178]
  野生における動的表情認識(DFER)は、データ制限によって依然として妨げられている。 抽出された顔のランドマーク認識機能に暗黙的に符号化された既存のSFER知識と動的情報を活用する新しい静的・動的モデル(S2D)を提案する。
  論文  参考訳（メタデータ） (2023-12-09T03:16:09Z)
• Stabilizing Transformer Training by Preventing Attention Entropy Collapse [56.45313891694746]
  本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。 我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。 画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
  論文  参考訳（メタデータ） (2023-03-11T03:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。