論文の概要: UniMotion: A Unified Framework for Motion-Text-Vision Understanding and Generation

• arxiv url: http://arxiv.org/abs/2603.22282v1
• Date: Mon, 23 Mar 2026 17:59:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.841047
• Title: UniMotion: A Unified Framework for Motion-Text-Vision Understanding and Generation
• Title（参考訳）: UniMotion: モーションテキストビジョン理解と生成のための統一フレームワーク
• Authors: Ziyi Wang, Xinshun Wang, Shuang Chen, Yang Cong, Mengyuan Liu,
• Abstract要約: UniMotionは、人間の動き、自然言語、RGB画像の同時理解と生成のためのフレームワークである。 運動をRGBと同等の足場における一級連続的モダリティとして扱う。 UniMotionは、任意の理解、生成、編集にまたがる7つのタスクにわたる最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 47.383717641500844
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present UniMotion, to our knowledge the first unified framework for simultaneous understanding and generation of human motion, natural language, and RGB images within a single architecture. Existing unified models handle only restricted modality subsets (e.g., Motion-Text or static Pose-Image) and predominantly rely on discrete tokenization, which introduces quantization errors and disrupts temporal continuity. UniMotion overcomes both limitations through a core principle: treating motion as a first-class continuous modality on equal footing with RGB. A novel Cross-Modal Aligned Motion VAE (CMA-VAE) and symmetric dual-path embedders construct parallel continuous pathways for Motion and RGB within a shared LLM backbone. To inject visual-semantic priors into motion representations without requiring images at inference, we propose Dual-Posterior KL Alignment (DPA), which distills a vision-fused encoder's richer posterior into the motion-only encoder. To address the cold-start problem -- where text supervision alone is too sparse to calibrate the newly introduced motion pathway -- we further propose Latent Reconstruction Alignment (LRA), a self-supervised pre-training strategy that uses dense motion latents as unambiguous conditions to co-calibrate the embedder, backbone, and flow head, establishing a stable motion-aware foundation for all downstream tasks. UniMotion achieves state-of-the-art performance across seven tasks spanning any-to-any understanding, generation, and editing among the three modalities, with especially strong advantages on cross-modal compositional tasks.
• Abstract（参考訳）: We present UniMotion, to our knowledge, the first unified framework for concurrent understanding and generation of human motion, natural language, and RGB images within a single architecture。 既存の統一モデルは制限されたモダリティ部分集合(例えば、Motion-Text や static Pose-Image)のみを扱い、主に離散トークン化に依存し、量子化エラーを導入し、時間的連続性を乱す。 UniMotionは、運動をRGBと同等の足場における一級連続的なモダリティとして扱うという中心原理を通じて、両方の制限を克服する。 CMA-VAE(Cross-Modal Aligned Motion VAE)と対称デュアルパス埋め込み器は、共有LLMバックボーン内で、モーションとRGBの並列連続経路を構築する。 そこで我々は,視覚融合型エンコーダのリッチな後部をモーション専用エンコーダに蒸留するDPA(Dual-Posterior KL Alignment)を提案する。 新たに導入された動き経路を調整するにはテキストの監督だけでは不十分なコールドスタート問題に対処するため、我々はさらにLRA(Latent Reconstruction Alignment)を提案します。これは、濃密な動き遅延を曖昧な条件として利用し、埋め込み、バックボーン、フローヘッドを校正し、すべての下流タスクに対して安定した動き認識基盤を確立するための自己教師付き事前学習戦略です。 UniMotionは3つのモード間の理解、生成、編集にまたがる7つのタスクにまたがる最先端のパフォーマンスを実現している。

関連論文リスト

• PRISM: Streaming Human Motion Generation with Per-Joint Latent Decomposition [42.434871160461206]
  既存のモーションオートエンコーダは各フレームを1つのモノリシック潜在ベクトルに圧縮する。 PRISMを提示し、各課題に専用のコントリビューションで対処する。 本研究では,テキスト・ツー・モーション,ポーズ・コンディショニング,自己回帰的逐次生成,ナラティブ・モーション・コンポジションをシームレスに扱う単一動作生成基盤モデルを訓練する。
  論文  参考訳（メタデータ） (2026-03-09T16:41:15Z)
• Geometric Neural Distance Fields for Learning Human Motion Priors [51.99890740169883]
  本研究では,より頑健で時間的に整合性があり,物理的に妥当な3次元運動回復を可能にする新しい3D生成人体運動について紹介する。 AMASSデータセットをトレーニングし、NRMFは複数の入力モードにまたがって著しく一般化する。
  論文  参考訳（メタデータ） (2025-09-11T17:58:18Z)
• ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer [58.49950218437718]
  音声に同期した高忠実で一般化可能な人体動作を生成するための効率的なフレームワークであるReCoMを提案する。 Recurrent Embedded Transformer (RET)は、動的埋め込み正規化(DER)をViT(Vit)コアアーキテクチャに統合する。 モデルロバスト性を高めるため,ノイズ抵抗とクロスドメイン一般化の二重性を持つモデルに,提案したDER戦略を取り入れた。
  論文  参考訳（メタデータ） (2025-03-27T16:39:40Z)
• MASA: Motion-aware Masked Autoencoder with Semantic Alignment for Sign Language Recognition [94.56755080185732]
  本研究では,リッチモーションキューとグローバルセマンティック情報を統合したセマンティックアライメント(MASA)を用いたMotion-Awareマスク付きオートエンコーダを提案する。 我々のフレームワークは,包括的手話表現のための局所的な動きの手がかりとグローバルな意味的特徴を同時に学習することができる。
  論文  参考訳（メタデータ） (2024-05-31T08:06:05Z)
• Seamless Human Motion Composition with Blended Positional Encodings [38.85158088021282]
  後処理や冗長な復調ステップを伴わずにシームレスなヒューマン・モーション・コンポジション(HMC)を生成する最初の拡散モデルであるフローMDMを紹介する。 我々はBabelとHumanML3Dデータセットの精度、リアリズム、スムーズさの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-02-23T18:59:40Z)
• DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion [70.33381660741861]
  テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。 我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
  論文  参考訳（メタデータ） (2023-09-04T05:43:48Z)
• Modelling Latent Dynamics of StyleGAN using Neural ODEs [52.03496093312985]
  我々は、GANから独立に反転した潜在符号の軌跡を学習する。 学習した連続軌道により、無限のフレームと一貫したビデオ操作を行うことができる。 提案手法は最先端の性能を実現するが,計算量が少なくなる。
  論文  参考訳（メタデータ） (2022-08-23T21:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。