論文の概要: Micro-DualNet: Dual-Path Spatio-Temporal Network for Micro-Action Recognition
- arxiv url: http://arxiv.org/abs/2604.21011v1
- Date: Wed, 22 Apr 2026 19:00:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.138523
- Title: Micro-DualNet: Dual-Path Spatio-Temporal Network for Micro-Action Recognition
- Title(参考訳): Micro-DualNet:Micro-Action RecognitionのためのDual-Path Spatio-Temporal Network
- Authors: Naga VS Raviteja Chappa, Evangelos Sariyanidi, Lisa Yankowitz, Gokul Nair, Casey J. Zampella, Robert T. Schultz, Birkan Tunç,
- Abstract要約: マイクロアクションは、空間的構成によって定義されるものや、時間的ダイナミクスを通して現れるものなど、様々な特徴を示す。
単一時間分解にコミットする既存の方法は、この多様性に対応できない。
本稿では,Multual Action (MAC) の損失を補足して,各部位が最適な処理選択を学習するエンティティレベルの適応ルーティングを導入する。
- 参考スコア(独自算出の注目度): 4.60357552784923
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Micro-actions are subtle, localized movements lasting 1-3 seconds such as scratching one's head or tapping fingers. Such subtle actions are essential for social communication, ubiquitously used in natural interactions, and thus critical for fine-grained video understanding, yet remain poorly understood by current computer vision systems. We identify a fundamental challenge: micro-actions exhibit diverse spatio-temporal characteristics where some are defined by spatial configurations while others manifest through temporal dynamics. Existing methods that commit to a single spatio-temporal decomposition cannot accommodate this diversity. We propose a dual-path network that processes anatomically-grounded spatial entities through parallel Spatial-Temporal (ST) and Temporal-Spatial (TS) pathways. The ST path captures spatial configurations before modeling temporal dynamics, while the TS path inverts this order to prioritize temporal dynamics. Rather than fixed fusion, we introduce entity-level adaptive routing where each body part learns its optimal processing preference, complemented by Mutual Action Consistency (MAC) loss that enforces cross-path coherence. Extensive experiments demonstrate competitive performance on MA-52 dataset and state-of-the-art results on iMiGUE dataset. Our work reveals that architectural adaptation to the inherent complexity of micro-actions is essential for advancing fine-grained video understanding.
- Abstract(参考訳): マイクロアクションは微妙な局所的な動きであり、頭部を掻いたり指を叩いたりして1~3秒続く。
このような微妙な行動は、社会コミュニケーションに必須であり、自然の相互作用に普遍的に使用され、ビデオのきめ細かい理解には重要であるが、現在のコンピュータビジョンシステムでは理解されていない。
マイクロアクションは空間的構成によって定義されるが、時間的ダイナミクスによって表されるような多様な時空間特性を示す。
単一時空間分解にコミットする既存の方法は、この多様性に対応できない。
本稿では, 並列空間空間空間(ST) とテンポラル空間空間(TS) 経路を介して, 解剖学的に接地された空間エンティティを処理するデュアルパスネットワークを提案する。
STパスは時間的ダイナミクスをモデル化する前に空間的構成をキャプチャし、TSパスはこの順序を逆転して時間的ダイナミクスを優先順位付けする。
固定融合ではなく,各部位が最適な処理選択を学習するエンティティレベルの適応ルーティングを導入し,相互動作整合性(MAC)損失を補完する。
大規模な実験では、MA-52データセットの競合性能とiMiGUEデータセットの最先端結果が示されている。
我々の研究は、微細なビデオ理解を促進するためには、マイクロアクションの本質的な複雑さへのアーキテクチャ的適応が不可欠であることを明らかにしている。
関連論文リスト
- DIANet: A Phase-Aware Dual-Stream Network for Micro-Expression Recognition via Dynamic Images [0.0]
マイクロ表現は短く、不随意的な顔の動きであり、通常は半秒未満で、しばしば本物の感情を表わす。
本稿では、位相認識動的画像を利用する新しいデュアルストリームフレームワークDIANetを提案する。
3つのベンチマークMERデータセットを用いて行った実験は、提案手法が従来の単相DIベースのアプローチよりも一貫して優れていることを示した。
論文 参考訳(メタデータ) (2025-10-14T07:15:29Z) - ME-TST+: Micro-expression Analysis via Temporal State Transition with ROI Relationship Awareness [12.584801819076425]
マイクロ表現(ME)は、個人固有の感情、嗜好、傾向の重要な指標とみなされる。
従来のディープラーニングアプローチでは、スライディングウインドウ分類ネットワークが一般的であった。
本稿では,ME-TSTとME-TST+という2つの状態空間モデルに基づくアーキテクチャを提案する。
論文 参考訳(メタデータ) (2025-08-11T15:28:32Z) - DAMS:Dual-Branch Adaptive Multiscale Spatiotemporal Framework for Video Anomaly Detection [7.117824587276951]
この研究は、マルチレベル特徴とデカップリング融合に基づくDual-Branch Adaptive Multiscale Stemporal Framework (DAMS)と呼ばれるデュアルパスアーキテクチャを提供する。
主処理経路は、適応型マルチスケール時間ピラミッドネットワーク(AMTPN)と畳み込みブロック注意機構(CBAM)を統合している。
論文 参考訳(メタデータ) (2025-07-28T08:42:00Z) - Identity-Preserving Text-to-Video Generation Guided by Simple yet Effective Spatial-Temporal Decoupled Representations [131.33758144860988]
アイデンティティ保存型テキスト・ツー・ビデオ(IPT2V)生成は、一貫した人間のアイデンティティを持つ高忠実度ビデオを作成することを目的としている。
現在のエンドツーエンドフレームワークは、重要な空間的・時間的トレードオフを被る。
本稿では,表現をレイアウトの空間的特徴と運動力学の時間的特徴に分解する,シンプルで効果的な空間時空間分離フレームワークを提案する。
論文 参考訳(メタデータ) (2025-07-07T06:54:44Z) - Short and Long Range Relation Based Spatio-Temporal Transformer for
Micro-Expression Recognition [61.374467942519374]
我々は,マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチである,新しいアテンポ的トランスフォーマーアーキテクチャを提案する。
空間パターンを学習する空間エンコーダと、時間的分析のための時間的次元分類と、ヘッドとを備える。
広範に使用されている3つの自発的マイクロ圧縮データセットに対する総合的な評価は,提案手法が一貫して芸術の状態を上回っていることを示している。
論文 参考訳(メタデータ) (2021-12-10T22:10:31Z) - A Spatial-Temporal Attentive Network with Spatial Continuity for
Trajectory Prediction [74.00750936752418]
空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。
まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。
第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
論文 参考訳(メタデータ) (2020-03-13T04:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。