論文の概要: Zero-Shot Open-Vocabulary Human Motion Grounding with Test-Time Training

• arxiv url: http://arxiv.org/abs/2511.15379v1
• Date: Wed, 19 Nov 2025 12:11:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.796995
• Title: Zero-Shot Open-Vocabulary Human Motion Grounding with Test-Time Training
• Title（参考訳）: テスト時間トレーニングによるゼロショットオープンボキャブラリ人体動作グラウンド
• Authors: Yunjiao Zhou, Xinyan Chen, Junlang Qian, Lihua Xie, Jianfei Yang,
• Abstract要約: ZOMGは、アノテーションや微調整を必要とせずに、動作シーケンスを意味のあるサブアクションに分割するフレームワークである。 ZOMGは(1)言語セマンティックパーティションを統合し、大きな言語モデルを利用して命令を順序付けられたサブアクション単位に分解し、(2)ソフトマスキング最適化を行う。 3つのモーション言語データセットの実験では、HumanML3Dベンチマークにおいて、先行手法を+8.7%mAPで上回る、動作グラウンド性能の最先端の有効性と効率が示されている。
• 参考スコア（独自算出の注目度）: 39.7658823121591
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding complex human activities demands the ability to decompose motion into fine-grained, semantic-aligned sub-actions. This motion grounding process is crucial for behavior analysis, embodied AI and virtual reality. Yet, most existing methods rely on dense supervision with predefined action classes, which are infeasible in open-vocabulary, real-world settings. In this paper, we propose ZOMG, a zero-shot, open-vocabulary framework that segments motion sequences into semantically meaningful sub-actions without requiring any annotations or fine-tuning. Technically, ZOMG integrates (1) language semantic partition, which leverages large language models to decompose instructions into ordered sub-action units, and (2) soft masking optimization, which learns instance-specific temporal masks to focus on frames critical to sub-actions, while maintaining intra-segment continuity and enforcing inter-segment separation, all without altering the pretrained encoder. Experiments on three motion-language datasets demonstrate state-of-the-art effectiveness and efficiency of motion grounding performance, outperforming prior methods by +8.7\% mAP on HumanML3D benchmark. Meanwhile, significant improvements also exist in downstream retrieval, establishing a new paradigm for annotation-free motion understanding.
• Abstract（参考訳）: 複雑な人間の活動を理解するには、動きをきめ細かなセマンティックなサブアクションに分解する能力が必要である。 この動作基盤プロセスは、行動分析、具体化されたAI、バーチャルリアリティーに不可欠である。 しかし、既存のほとんどの手法は、オープンな語彙や現実世界の設定では不可能な、事前定義されたアクションクラスによる厳密な監視に依存している。 本稿では, アノテーションや微調整を必要とせず, 動作シーケンスを意味的に意味のあるサブアクションに分割するゼロショットオープン語彙フレームワークZOMGを提案する。 技術的には、(1)大きな言語モデルを利用して命令を順序付けられたサブアクション単位に分解する言語セマンティックパーティション、(2)インスタンス固有の時間マスクを学習してサブアクションにクリティカルなフレームにフォーカスするソフトマスク最適化を統合。 3つの動き言語データセットの実験は、HumanML3Dベンチマークで+8.7\% mAPで先行手法を上回り、動作基盤性能の最先端の有効性と効率を実証した。 一方、下流検索にも大きな改善があり、アノテーションなしの動作理解のための新しいパラダイムが確立された。

関連論文リスト

• Language-Assisted Human Part Motion Learning for Skeleton-Based Temporal Action Segmentation [11.759374280422113]
  骨格に基づくテンポラルアクションは、可変長の骨格配列の高密度な作用分類を含む。 現在のアプローチでは、グラフベースのネットワークを使用して、フレーム単位の全体レベルの動作表現を抽出している。 本稿では,LPL(Language-assisted Human Part Motion Representation)という手法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T20:42:51Z)
• MASA: Motion-aware Masked Autoencoder with Semantic Alignment for Sign Language Recognition [94.56755080185732]
  本研究では,リッチモーションキューとグローバルセマンティック情報を統合したセマンティックアライメント(MASA)を用いたMotion-Awareマスク付きオートエンコーダを提案する。 我々のフレームワークは,包括的手話表現のための局所的な動きの手がかりとグローバルな意味的特徴を同時に学習することができる。
  論文  参考訳（メタデータ） (2024-05-31T08:06:05Z)
• Semantics-aware Motion Retargeting with Vision-Language Models [19.53696208117539]
  本稿では,意味ある動作意味論を抽出し,維持するために,視覚言語モデルを利用したセマンティックス・アウェア・モーション・リターゲティング(SMT)手法を提案する。 我々は3次元動作のレンダリングに微分可能モジュールを使用し、視覚言語モデルに入力し、抽出したセマンティック埋め込みを整合させることにより、高レベルなモーションセマンティクスを動作プロセスに組み込む。 微粒な動きの詳細と高レベルのセマンティクスの保存を確保するため、スケルトンを意識した事前学習とセマンティクスと幾何制約による微調整からなる2段階パイプラインを採用する。
  論文  参考訳（メタデータ） (2023-12-04T15:23:49Z)
• SemanticBoost: Elevating Motion Generation with Augmented Textual Cues [73.83255805408126]
  我々のフレームワークはセマンティック・エンハンスメント・モジュールとコンテキスト調整型モーション・デノイザ(CAMD)から構成されている。 CAMDアプローチは、高品質でセマンティックに一貫性のあるモーションシーケンスを生成するための全エンコンパスソリューションを提供する。 実験の結果,SemanticBoostは拡散法として自己回帰法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-31T09:58:11Z)
• DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion [70.33381660741861]
  テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。 我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
  論文  参考訳（メタデータ） (2023-09-04T05:43:48Z)
• Multi-modal Prompting for Low-Shot Temporal Action Localization [95.19505874963751]
  低ショット(ゼロショット・少数ショット)シナリオ下での時間的行動局所化の問題点を考察する。 クラスに依存しない2段階のアクションローカライズアーキテクチャをTransformerに導入し,その後にオープン語彙分類を行った。
  論文  参考訳（メタデータ） (2023-03-21T10:40:13Z)
• Towards Tokenized Human Dynamics Representation [41.75534387530019]
  我々は,ビデオの時間的パターンを自己監督的に分割し,クラスタ化する方法について検討した。 我々は、ケンドールのTauによるフレームワイド表現学習ステップと、正規化された相互情報と言語エントロピーによる語彙構築ステップを評価する。 AIST++とPKU-MMDデータセットでは、アクトンはいくつかのベースラインと比較して大幅にパフォーマンスが改善されている。
  論文  参考訳（メタデータ） (2021-11-22T18:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。