論文の概要: GM-GReFEL: Geometry-Guided Spatiotemporal State-Space Learning for Robust Dynamic Facial Expression Recognition
- arxiv url: http://arxiv.org/abs/2610.31140v1
- Date: Thu, 22 Oct 2026 11:59:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.365984
- Title: GM-GReFEL: Geometry-Guided Spatiotemporal State-Space Learning for Robust Dynamic Facial Expression Recognition
- Title(参考訳): GM-GReFEL:ロバストな動的顔表情認識のための幾何誘導時空間学習
- Abstract要約: 幾何認識型決定段階をもつ時空間ネットワークであるGM-GFELを提案する。
6つのチャネル群が別々にスキャンされ、フレーム平面上に4つ、時間とともに2つずつスキャンされるため、コストはシーケンスの長さとともに線形に増加する。
バックボーンでは、GFELモジュールが各予測の正規化エントロピーを混合重みに変換する。
- 参考スコア(独自算出の注目度): 2.8647133890966994
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recognizing facial expressions in unconstrained video suffers from two coupled problems: self-attention grows quadratically in cost with clip length, and crowdsourced labels are noisy. We present GM-GReFEL, a spatiotemporal state-space network with a geometry-aware decision stage. Its Modulated GroupMamba backbone replaces a spatiotemporal Vision Transformer. Six channel groups are scanned separately, four over the frame plane and two over time, so the cost grows linearly with sequence length ($\mathcal{O}(N)$); after each layer, a Channel Affinity Modulation gate mixes the groups again. On top of the backbone, a GReFEL reliability module turns the normalized entropy of each prediction into a mixing weight between the classifier output and a vote from trainable geometric anchors, so that facial geometry counts for more when the network is unsure. The model is initialized by static-to-dynamic weight transfer and trained with a Triple Loss. In five-fold cross-validation, the best fold scores 66.57\%/76.46\% UAR/WAR on DFEW, 0.3 points or less below the strongest compared method, and 45.66\%/62.27\% on MAFW, ahead of all compared methods; on FERV39k the mean over five splits, 42.30\%/52.66\%, is competitive. The five-fold means are 64.07\%/74.54\% on DFEW, on par with recent large pre-trained models, and 38.90\%/54.37\% on MAFW, below the best of them. A paired $t$-test on DFEW indicates a modest benefit of temporal modeling (+1.61 UAR points, one-sided $p=0.031$). Attention stays on plausible facial regions, and latency is close to a ViT-B/16 baseline (47.4 vs.\ 46.8 ms per clip). Code: https://github.com/ardiytama/GroupMamba-DFER.
- Abstract(参考訳): 非拘束ビデオにおける表情の認識には2つの複合的な問題がある: 自己注意はクリップの長さで4倍のコストで増加し、クラウドソースされたラベルは騒々しい。
本稿では,幾何を考慮した時空間ネットワークであるGM-GReFELを提案する。
変調されたGroupMambaバックボーンは、時空間視覚変換器を置き換える。
6つのチャネル群が別々にスキャンされ、フレーム平面上に4つ、時間とともに2つのチャネル群がスキャンされるので、コストはシーケンス長($\mathcal{O}(N)$)とともに線形に増大する。
バックボーン上において、GReFEL信頼性モジュールは、各予測の正規化エントロピーを、分類器出力とトレーニング可能な幾何アンカーからの投票との混合重みに変換するので、ネットワークが不確実な場合には、顔形状がより多くカウントされる。
このモデルは静的-動的重み移動によって初期化され、三重損失で訓練される。
5倍のクロスバリデーションでは、DFEWでは66.57\%/76.46\%のUAR/WAR、最強比較法では0.3点以下、MAFWでは45.66\%/62.27\%、FERV39kでは平均5分割率42.30\%/52.66\%となる。
5倍はDFEWで64.07\%/74.54\%、MAFWで38.90\%/54.37\%である。
DFEWの$t$-testのペアは、一時的モデリング(+1.61 UARポイント、片側$p=0.031$)の利点を示す。
注意はプラウシブルな顔領域に留まり、レイテンシはVT-B/16ベースライン(47.4 vs.)に近い。
1クリップあたり46.8ミリ秒)。
コード:https://github.com/ardiytama/GroupMamba-DFER
関連論文リスト
- Does the VGGT Family Need All Its Layers? [55.81487806596663]
VGGT,3ドル,VGGT-$:3,018プルーニング構成における層冗長性について検討した。
取り外し可能な層が2つの冗長領域に集結しているのに対して、層間をまたがる削除は、常に破壊的である。
CKAは、間隔分解のためのより安価な表現ベースのプロキシを提供し、プルーニング品質とキャリブレーションコストのトレードオフを提供する。
論文 参考訳(メタデータ) (2026-09-29T06:52:07Z) - GAUGE: Group-Wise View-Inconsistency Rectification for Feed-Forward 4D Tracking [48.91477882822122]
本稿では,GAUGE(Group-wise Adaptive Unsupervised Gauge Estimation)について述べる。
方向整合性と空間接続性から運動群を復元し、フレーム単位のラジアルスケールとグループレベルの変換を推定する。
D4RT, 4RC, SM4RTを含む8つのトラッカーの動的クエリポイントでは, 訂正されていない予測に対して, 終端誤差を15.1%から62.6%削減する。
論文 参考訳(メタデータ) (2026-09-26T13:14:53Z) - One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。
また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。
Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
論文 参考訳(メタデータ) (2026-09-20T14:54:35Z) - Riemannian--Lorentz Fusion of Vision Transformers and State-Space Models [3.183924309596046]
ディープラーニングのスケールアップは、データの枯渇、指数的トレーニングコスト、リソース集中といった、重大なボトルネックに直面します。
モデルマージは、降下勾配のない事前訓練されたチェックポイントを組み合わせることで、マグニチュード・オブ・マグニチュードの削減と再トレーニングを提供する。
既存の重み空間マージ法では整列整合型チェックポイントが仮定されるのに対し、ViT(Vision Transformer)とSSM(State-space Model)は異なる演算子とトークンミキシングを実装している。
パラメータ群をセマンティックな役割で整列させながら両方のアーキテクチャを維持できるハイブリッドな不均一なマージ設定について検討する。
論文 参考訳(メタデータ) (2026-09-16T20:05:11Z) - Time-Frequency Geometric Cross-Attention for Chunked Vision-Language-Action Models [10.591519354017803]
ビジョンアクション(VLA)政策における2つの盲点の修復方法を示す。
プリトレーニング済みのVLAを微調整するために、ドロップインモジュールを使用します。
TFGCA が LIBERO を平均で1.5、OOD LIBERO-Plus を+6.3、RoboTwin ドメインのランダム化で+28.5、AgiBot A2 のタスクで+11.67 のタスクで全体の成功率を示す。
論文 参考訳(メタデータ) (2026-09-09T09:16:49Z) - Dead-Direction Conditioners: Gauge-Equivariant Preconditioning for Deep Networks [0.0]
ディープネットワークの損失はそのパラメータの連続対称性に不変である。
我々は、$G$-不変距離の軌道分解を条件付けるデッド・ディビジョン・コンディショナーであるDDCを構築する。
適合点を越えて訓練された言語モデルでは、DDCAdamはAdamWの過度のトレーニング崩壊に抵抗し、5.88に対して0.67のトレーニング損失ギャップを保持し、65層中32層でデッドダイレクト率を読み取る。
論文 参考訳(メタデータ) (2026-06-28T03:44:59Z) - Multi-Modal Spatio-Temporal Graph Neural Network with Mixture of Experts for Soil Organic Carbon Prediction [0.0]
既存のアプローチでは、手作りのコモーダルを古典的なMLとペアリングするか、豊富なスペクトルと時間情報を見逃す単一モードのディープモデルである。
本稿では,SpTGNNとグリッドベースアーキテクチャの両方に対処するマルチテンポラルグラフニューラルネットワークであるSpTG-NNを紹介する。
微調整されたTerraMindエンコーダは、Sentinel-2、Sentinel-1、DEM信号からノード特徴を抽出する。
論文 参考訳(メタデータ) (2026-06-15T11:25:38Z) - The Geometry of Compromise: Unlocking Generative Capabilities via Controllable Modality Alignment [24.22523653033535]
視覚言語モデルは画像とテキストの共有埋め込み空間を学ぶが、それらの表現は幾何学的に分離されている。
このギャップは、キャプションや共同クラスタリングのような、モーダル間交換性を必要とするタスクを制限する。
本稿では,TPC-CMA (Three-Phase Curriculum for Cross-Modal Alignment)を提案する。
論文 参考訳(メタデータ) (2026-03-31T22:11:49Z) - Coordinate Transformer: Achieving Single-stage Multi-person Mesh
Recovery from Videos [91.44553585470688]
ビデオから複数人の3Dメッシュを回収することは、バーチャルリアリティーや理学療法などにおけるグループ行動の自動認識に向けた重要な第一歩である。
本稿では,複数人物の時空間関係を直接モデル化し,同時にエンドツーエンドでマルチ・メッシュ・リカバリを行うコーディネート・トランスフォーマーを提案する。
3DPWデータセットの実験では、CoordFormerが最先端の精度を大幅に向上し、MPJPE、PAMPJPE、PVEの計測値でそれぞれ4.2%、8.8%、そして4.7%を上回った。
論文 参考訳(メタデータ) (2023-08-20T18:23:07Z) - Self-Supervised Learning based on Heat Equation [75.61974935666446]
本稿では,熱方程式を高次元特徴空間に拡張した自己教師型学習の新たな視点を提案する。
我々は x と y の軸を 2 つの一階線型微分方程式として分割することで単純化する。
これにより、QB-Heatと呼ばれる非常に単純なマスク付き画像モデリング(MIM)手法が導入された。
論文 参考訳(メタデータ) (2022-11-23T18:59:59Z) - EATFormer: Improving Vision Transformer Inspired by Evolutionary Algorithm [111.17100512647619]
本稿では、実証された実用的な進化的アルゴリズム(EA)と類似したビジョントランスフォーマーの合理性を説明する。
本稿では,EA ベースのトランス (EAT) ブロックのみを含む新しいピラミッド EATFormer バックボーンを提案する。
画像分類,下流タスク,説明実験に関する大規模かつ定量的な実験は,我々のアプローチの有効性と優位性を示すものである。
論文 参考訳(メタデータ) (2022-06-19T04:49:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。