論文の概要: GMoT: Gated Motion-Aware Tokenization for Fine-Grained Micro-Gesture Video Reasoning with Multimodal LLMs
- arxiv url: http://arxiv.org/abs/2607.16322v1
- Date: Wed, 15 Jul 2026 09:37:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.111154
- Title: GMoT: Gated Motion-Aware Tokenization for Fine-Grained Micro-Gesture Video Reasoning with Multimodal LLMs
- Title（参考訳）: GMoT:マルチモーダルLDMを用いた微視的微視的映像再生のためのゲーテッドモーション・アウェア・トケライゼーション
- Abstract要約: GMoTはGated Motion-Aware Tokenizationモジュールで、時相モデリングに先立ってスパース・キネマティック・エビデンスをコンパクトなシーケンスに蒸留する。
単純な分類からエビデンスに基づく推論へ移行するために、我々は、進歩的な報酬誘導政策改善パラダイムを導入する。
我々のGMoT拡張モデルは、ドメイン内の精度を向上し、ラベル保存汚職の下で明確な利得を維持し、精度指向のクロスドメイン転送を改善する。
- 参考スコア（独自算出の注目度）: 38.593314566875755
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Micro-gesture recognition demands the detection of fleeting, spatially localized movements that are frequently overwhelmed by dominant static appearances and background noise. While Multimodal Large Language Models (MLLMs) excel at general video understanding, they inherently struggle with subtle kinematics and often rely on static posture priors. To this end, we propose GMoT, a Gated Motion-Aware Tokenization module that explicitly distills sparse kinematic evidence into a compact sequence prior to temporal modeling. GMoT dynamically spotlights action-relevant regions via spatially weighted pooling, extracts adjacent-frame temporal differencing to capture precise motion energy, and adaptively fuses these cues into the visual stream using a conservatively initialized semantic gate. To transition from simple classification to evidence-grounded reasoning, we further introduce a progressive reward-guided policy refinement paradigm, supported by a semi-supervised annotation pipeline that generates anatomically focused captions. Beyond achieving the best Top-1 accuracy among the compared methods on iMiGUE (67.32\%) and SMG (73.11\%), improving the Qwen3-VL-8B baseline by +6.80 and +3.11 points, our framework introduces Body-Region Grounding (BRG) Recall as an anatomical-grounding proxy conditioned on correct predictions, together with an overlapping-label cross-domain transfer protocol between iMiGUE and SMG. Extensive evaluations demonstrate that our GMoT-augmented model improves in-domain accuracy, retains clear gains under label-preserving corruptions, and improves accuracy-oriented cross-domain transfer under explicit small-split caveats while maintaining high anatomical grounding in its generated rationales.
- Abstract（参考訳）: 微小な位置認識は、しばしば支配的な静的な外観と背景雑音によって圧倒される、浮動小数点、空間的局所的な動きを検出することを要求する。
MLLM(Multimodal Large Language Models)は、一般的なビデオ理解において優れているが、本質的には微妙なキネマティクスに悩まされ、しばしば静的姿勢に依存している。
そこで本研究では,GMoTを提案する。GMoTは時間的モデリングに先立って,特異なキネマティックな証拠をコンパクトなシーケンスに明示的に蒸留する,Gated Motion-Aware Tokenizationモジュールである。
GMoTは、空間重み付けプーリングを介してアクション関連領域を動的にスポットライトし、隣接するフレームの時間差を抽出して正確な運動エネルギーを捕捉し、保守的に初期化されたセマンティックゲートを使用してこれらのキューを視覚ストリームに適応的に融合する。
簡単な分類から根拠に基づく推論へ移行するために、解剖学的に焦点を絞ったキャプションを生成する半教師付きアノテーションパイプラインによって支援された、漸進的な報酬誘導政策改善パラダイムを導入する。
iMiGUE (67.32\%) と SMG (73.11\%) を比較し,Qwen3-VL-8Bベースラインを+6.80および+3.11ポイント改善した。
広範囲な評価の結果,GMoTを付加したモデルでは,ドメイン内の精度が向上し,ラベル保存汚職下での明確な利得が維持され,明確な小分割洞窟下での精度指向のクロスドメイン転送が向上し,生成した論理的根拠における解剖学的基盤の維持が図られている。
関連論文リスト
- Large-Small Model Collaboration for Zero-Shot Surgical Phase Recognition [45.191945465591374]
外科的位相認識のためのタスク固有の軽量モデルは、時間的ダイナミクスを捉えるのに優れているが、ドメインシフト下での一般化は不十分である。
textbfLarge-textbfSmall textbfTemporal adaptation (textbfLaST)を提案する。
論文 参考訳（メタデータ） (2026-08-24T07:06:52Z) - COMET: Contrastive Motion-Enhanced Temporal Reasoning for Video Multimodal Large Language Models [15.39037309359101]
ビデオ多モーダル大言語モデルは大幅に進歩しているが、微粒な動き・時間的理解は脆弱である。
本稿では,ビデオMLLMを明示的な時間的表現によって体系的に強化する,時間的基盤のフレームワークであるCOMETを提案する。
最適化のために、COMETは時間的事前蒸留と時間的順序を直接学習信号に変換する前方逆TC-GRPOステージを組み合わせる。
論文 参考訳（メタデータ） (2026-08-21T12:28:36Z) - DyG$^2$T: Modeling Object Dynamics with 3D Gaussian Temporal-Spatial Particle Graph Transformer [86.4618122245946]
DyG$2$Tは動的モデリングフレームワークで、キーポイント表現を空間的に完了し、時間的に識別することでオブジェクトの運動軌跡を推定する。
合成データセットと実世界のデータセットの両方の実験は、DyG$2$Tが正確な動的モデリングと推論を実現することを示した。
論文 参考訳（メタデータ） (2026-08-19T03:44:28Z) - TVTA: Trajectory-Aware Viseme-Guided Temporal Aggregation for Event-Based Lip Reading [17.895146965920592]
イベントベースの唇読解が視覚音声認識の有望な方向として登場した。
イベントベースの唇読解のための時間拡張フレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-09T08:33:21Z) - Partial Skeleton Visibility for Action Recognition: A Constrained Field-of-View Approach [60.596944437968524]
partialVisGraphは、制約されたフィールド・オブ・ビューの下で、堅牢なスケルトンベースのアクション認識のための新しいフレームワークである。
部分的な可視性の下では、最先端の精度を一貫して達成し、厳しいFoV制限のあるサブセットでは68.8%まで上昇する。
提案手法は,非拘束環境下でのスケルトンに基づく行動理解を実現するための,原則的かつ実践的な経路を提供する。
論文 参考訳（メタデータ） (2026-07-01T10:03:11Z) - AnchorRefine: Synergy-Manipulation Based on Trajectory Anchor and Residual Refinement for Vision-Language-Action Models [60.04879435087352]
視覚言語アクション(VLA)ポリシーは、単一の統一空間内でアクションを生成する。
本稿では,VLAの動作モデリングを軌跡アンカーと残留精細化に分解する階層的フレームワークであるAnchorRefineを提案する。
LIBERO、CALVIN、および実ロボットタスクの実験では、AnchorRefineは回帰ベースと拡散ベースの両方のVLAバックボーンを一貫して改善している。
論文 参考訳（メタデータ） (2026-04-20T04:25:24Z) - Thinking with Images as Continuous Actions: Numerical Visual Chain-of-Thought [55.65577137924979]
本稿では,連続的な数値座標を用いたMLLM画像の推論を可能にするフレームワークを提案する。
NV-CoTはMLLM作用空間を離散語彙トークンから連続ユークリッド空間へと拡張する。
3つのベンチマーク実験により、NV-CoTは局所化精度と最終回答精度を大幅に向上することが示された。
論文 参考訳（メタデータ） (2026-02-27T12:04:07Z) - SGHA-Attack: Semantic-Guided Hierarchical Alignment for Transferable Targeted Attacks on Vision-Language Models [73.19044613922911]
大規模視覚言語モデル(VLM)は、転送ベースの対向摂動に対して脆弱である。
SGHA-Attackは、複数のターゲット参照を採用し、中間層一貫性を強制するフレームワークである。
オープンソースおよび商用のブラックボックスVLMの実験は、SGHA-Attackが従来の方法よりも強力な目標転送性を実現することを示している。
論文 参考訳（メタデータ） (2026-02-02T03:10:41Z) - From Tokens to Nodes: Semantic-Guided Motion Control for Dynamic 3D Gaussian Splatting [26.57713792657793]
制御密度と動きの複雑さを一致させる動き適応フレームワークを提案する。
既存の最先端手法に比べて,復元品質と効率が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2025-10-03T05:33:58Z) - Dual Conditioned Motion Diffusion for Pose-Based Video Anomaly Detection [12.100563798908777]
コンピュータビジョン研究にはビデオ異常検出(VAD)が不可欠である。
既存のVADメソッドは、再構築ベースのフレームワークまたは予測ベースのフレームワークを使用する。
ポーズに基づくビデオ異常検出に対処し、Dual Conditioned Motion Diffusionと呼ばれる新しいフレームワークを導入する。
論文 参考訳（メタデータ） (2024-12-23T01:31:39Z) - Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation [51.14107156747967]
弱教師付きセマンティックセマンティックセマンティクス(WSSS)は、完全な教師付きアプローチよりもアノテーションが少ないため、かなりの注目を集めている。
本研究では,非学際的な過密化に対する深い注意を抑えるための適応的再活性化機構 (AReAM) を提案する。
AReAMは既存のWSSS手法と比較してセグメンテーション性能を大幅に改善し、ノイズを低減し、関連するセマンティック領域に焦点を絞る。
論文 参考訳（メタデータ） (2023-05-04T19:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。