論文の概要: A Multi-Modal Framework with Cross-Subject Pseudo-Labeling and Semantic Alignment for Micro-Gesture Recognition
- arxiv url: http://arxiv.org/abs/2606.13030v1
- Date: Thu, 11 Jun 2026 08:04:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.661836
- Title: A Multi-Modal Framework with Cross-Subject Pseudo-Labeling and Semantic Alignment for Micro-Gesture Recognition
- Title（参考訳）: クロスオブジェクト擬似ラベルとセマンティックアライメントを用いたマイクロジェスチャ認識のためのマルチモーダルフレームワーク
- Authors: Haoran Zhang, Haokun Zhang, Pengyu Liu, Yujia Zhang, Weibao Xue, Yanbin Hao,
- Abstract要約: マイクロ・ジェスチャー(英: Micro-gestures、MG)は、人間の感情を頻繁に伝達する自然で微妙な身体運動である。
非トリミングビデオにおけるMGの認識は、非常に低い信号対ノイズ比のため、非常に困難である。
第4回MiGA-IJCAIチャレンジのトラック1の総合的マルチモーダルフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 21.577609169548168
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Micro-gestures (MGs) are spontaneous and subtle body movements that frequently convey hidden human emotions. Recognizing MGs in untrimmed videos remains highly challenging due to their extremely low signal-to-noise ratio, severe long-tailed class distribution, and the inherent domain shift encountered in cross-subject evaluation scenarios. In this paper, we propose a comprehensive multi-modal framework for Track 1 of the 4th MiGA-IJCAI Challenge. To capture fine-grained representations, we design a saliency-guided multi-modal extraction pipeline integrating 68-keypoint skeleton joint coordinates, 3D heatmap volumes, and high-resolution RGB visual features. We introduce a gentle square-root smoothed weighting mechanism paired with an Orthogonal Semantic Embedding Loss to protect tail classes without compromising overall recognition capabilities. More importantly, to bridge the cross-subject generalization gap, we propose a Cross-Modal Pseudo-Labeling (CMPL) strategy for unsupervised domain adaptation, which significantly boosts single-modal robustness. A temperature-scaled soft-voting mechanism is finally utilized to alleviate overconfidence during late fusion. Extensive experiments demonstrate that our framework achieves a competitive F1-score of 68.13\%, securing the 4th place.
- Abstract（参考訳）: マイクロ・ジェスチャー(英: Micro-gestures、MG)は、人間の感情を頻繁に伝達する自然で微妙な身体運動である。
非トリミングビデオにおけるMGの認識は、非常に低い信号対雑音比、重い長い尾のクラス分布、およびクロスオブジェクト評価シナリオで発生する固有のドメインシフトのため、依然として非常に困難である。
本稿では,第4回MiGA-IJCAIチャレンジのトラック1の総合的マルチモーダルフレームワークを提案する。
そこで我々は,68キーポイントの骨格の関節座標,3次元ヒートマップボリューム,高解像度RGB視覚特徴を組み込んだサリエンシ誘導多モード抽出パイプラインを設計した。
直交セマンティック・エンベディング・ロスと組み合わせた2乗2乗スムーズな重み付け機構を導入し, 全体的な認識能力を損なうことなく, テールクラスを保護した。
さらに,クロスオブジェクトの一般化ギャップを埋めるために,教師なし領域適応のためのクロスモーダル擬似ラベル(CMPL)戦略を提案する。
温度スケールの軟発声機構が最終的に利用され、後期核融合時の過信が軽減される。
大規模な実験により、我々のフレームワークは68.13 %の競争力を持つF1スコアを達成し、4位を確保した。
関連論文リスト
- Motion Reinforces Appearance: RGB-Skeleton Gated Residual Fusion for Micro-Gesture Online Recognition [18.736764781779208]
我々はDyFADetをデュアルストリームRGB-スケルトンフレームワークに拡張するDyFADet+を提案する。
SMGデータセットでは,F1スコアが40.88であり,マイクロジェスチャオンライン認識トラックでは2位である。
論文 参考訳（メタデータ） (2026-06-10T04:12:36Z) - Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。
既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。
動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-25T09:57:46Z) - Gait Recognition via Deep Residual Networks and Multi-Branch Feature Fusion [5.585970057888865]
本稿では,歩行動態を身体形状特性で深く抽出し,融合する高精度歩行認識フレームワークを提案する。
50層のResidual Networkは、階層的にリッチで差別的な表現をキャプチャするために、深い特徴抽出モジュール内で利用される。
クロスビュー多条件CASIA-Bベンチマーク実験により,通常の歩行下でのランク1の精度が94.52%であることが確認された。
論文 参考訳（メタデータ） (2026-04-30T03:09:51Z) - Image Classification via Random Dilated Convolution with Multi-Branch Feature Extraction and Context Excitation [3.9240527145303123]
RDCNetはResNet-34上に構築された新しいアーキテクチャで、これらの制限に対処するために3つのシナジスティックなイノベーションを統合する。
RDCNetは、最先端の分類精度を一貫して達成し、それぞれ0.02%、1.12%、0.18%、4.73%のマージンで2番目に良い競合手法を上回っている。
論文 参考訳（メタデータ） (2026-04-28T03:49:35Z) - Bidirectional Cross-Modal Prompting for Event-Frame Asymmetric Stereo [54.58078274676216]
イベントカメラは、そのような制限を伴わない高ダイナミックレンジの代替視覚表現を提供する。
本稿では, Bi-CMPStereoについて紹介する。
提案手法は,対象の標準空間内のステレオ表現を微調整し,各モダリティをイベント領域とフレーム領域の両方に投影することにより相補表現を統合する。
論文 参考訳（メタデータ） (2026-04-16T17:59:58Z) - Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。
従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。
我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
論文 参考訳（メタデータ） (2026-03-07T03:58:48Z) - BHaRNet: Reliability-Aware Body-Hand Modality Expertized Networks for Fine-grained Skeleton Action Recognition [12.973657570368317]
この研究は、信頼性モデリングとマルチモーダル統合を統一し、スケルトン内ドメインとクロスモーダルドメインの両方にわたる不確実性の下で専門的な学習を一般化する確率的デュアルストリームフレームワークを提案する。
本フレームワークは,(1)標準空間変換を除去し,ネイティブ座標から直接学習するキャリブレーションフリー前処理パイプライン,(2)信頼を必要とせず,信頼性に配慮した2重ストリーム学習を安定化する確率的ノイズOR融合,(3)4つの骨格モーダル(関節,骨,関節運動,骨運動)をRGB表現に結合し,構造的および視覚的運動をブリッジングする内部から横断的なアンサンブルからなる。
論文 参考訳（メタデータ） (2026-01-01T15:13:11Z) - X-ReID: Multi-granularity Information Interaction for Video-Based Visible-Infrared Person Re-Identification [79.37768038337971]
本稿では,VVI-ReIDのためのX-ReIDという新しいクロスモーダル特徴学習フレームワークを提案する。
具体的には、まずクロスモダリティプロトタイプコラボレーション(CPC)を提案する。
次に, 隣接フレームからの短期的相互作用, 長期的クロスフレーム情報融合, クロスモダリティ特徴アライメントを組み込んだMII(Multi-granularity Information Interaction)を設計する。
論文 参考訳（メタデータ） (2025-11-22T07:57:15Z) - Adversarial Robustness for Unified Multi-Modal Encoders via Efficient Calibration [12.763688592842717]
統合マルチモーダルエンコーダにおける敵の脆弱性の包括的研究について述べる。
音声や点雲などの視覚的でない入力は、特に脆弱である。
本手法は,エプシロン=4/255で最大47.3%の強靭性を向上する。
論文 参考訳（メタデータ） (2025-05-17T08:26:04Z) - Unified Frequency-Assisted Transformer Framework for Detecting and
Grounding Multi-Modal Manipulation [109.1912721224697]
本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。
離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。
提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
論文 参考訳（メタデータ） (2023-09-18T11:06:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。