論文の概要: ReMoMask-2: Latent Retrieval-Augmented Masked Motion Generation
- arxiv url: http://arxiv.org/abs/2609.08365v1
- Date: Tue, 08 Sep 2026 07:33:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 16:42:17.829387
- Title: ReMoMask-2: Latent Retrieval-Augmented Masked Motion Generation
- Title（参考訳）: ReMoMask-2:潜航型追尾型マスケッドモーションジェネレーション
- Abstract要約: テキスト・トゥ・モーション(T2M)生成は、自然言語を人間の関節の動きにマッピングし、ゲーム、VR、ロボット工学を支援する。
Retrieval-Augmented Text-to-Motion (RAG-T2M)は、検索した動きテキストペアに条件付けすることで複雑な記述の生成を改善する。
しかしながら、既存のRAG-T2Mモデルは、人間の動きの階層的、時空間的トポロジーを見下ろす粗大な検索と融合機構、そして、抽出された証拠がジェネレータの潜伏部とは別の意味空間に存在するため、表現ギャップが存在するという2つの課題に直面している。
構造体ReMoMaskについて述べる
- 参考スコア（独自算出の注目度）: 41.21060459114798
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Text-to-motion (T2M) generation maps natural language to human joint movements, aiding gaming, VR, and robotics. Retrieval-Augmented Text-to-Motion (RAG-T2M) improves generation on complex descriptions by conditioning on retrieved motion-text pairs. However, existing RAG-T2M models face two challenges: coarse-grained retrieval and fusion mechanisms overlook the hierarchical, spatial-temporal topology of human motion, and a representation gap exists because retrieved evidence resides in a semantic space separate from the generator's latents. To address the first, we present ReMoMask, a structure-aware RAG framework coupling Hierarchical Bidirectional Momentum (HBM) contrastive learning to align global and part-level features with text; Semantic Spatial-Temporal Attention (SSTA) for topology-aware fusion; and Topology Structured Masking (TSM) to force robust part-level grounding via adaptive masking. To address the second, we introduce ReMoMask-2, which rebuilds the retrieval database directly within the generator's pre-quantization latent space and aligns text queries via a distilled lightweight projector, allowing the generator to directly consume the retrieved motion's semantic content. Extensive experiments on HumanML3D, KIT-ML, and SnapMoGen demonstrate our retriever achieves state-of-the-art accuracy, while ReMoMask-2 attains the lowest FID on KIT-ML and SnapMoGen; notably, its single mask-transformer stage surpasses ReMoMask's full two-stage pipeline and delivers the fastest inference.
- Abstract（参考訳）: テキスト・トゥ・モーション(T2M)生成は、自然言語を人間の関節の動きにマッピングし、ゲーム、VR、ロボット工学を支援する。
Retrieval-Augmented Text-to-Motion (RAG-T2M)は、検索した動きテキストペアに条件付けすることで複雑な記述の生成を改善する。
しかしながら、既存のRAG-T2Mモデルは、人間の動きの階層的、時空間的トポロジーを見下ろす粗大な検索と融合機構の2つの課題に直面している。
まず,階層的双方向モメンタム (HBM) を結合した構造対応RAGフレームワークであるReMoMaskについて述べる。これは,テキストとグローバルな特徴と部分レベルの特徴を整合させるコントラスト学習,位相認識融合のための意味的空間的注意 (SSTA) ,適応マスクによるロバストな部分レベルの接地を強制するトポロジー構造マスキング (TSM) を提案する。
第二に、ReMoMask-2を導入する。これは、生成元の待ち行列空間内で直接検索データベースを再構築し、蒸留された軽量プロジェクタを介してテキストクエリをアライメントすることで、生成元が取得した動作のセマンティックコンテンツを直接消費できるようにする。
HumanML3D、KIT-ML、SnapMoGenに関する大規模な実験では、検索者が最先端の精度を達成しているのに対し、ReMoMask-2はKIT-MLとSnapMoGenで最低のFIDを達成した。
関連論文リスト
- Beyond Text Conditioning: A Systematic Study of MLLM-DiT Fusion for Video Generation [50.92925099642139]
拡散変換器(DiT)は高忠実度ビデオ生成において支配的なパラダイムとなっているが、ハイレベルなセマンティックプランニングを行う能力は依然として限られている。
MLLMが最初にセマンティック・ビジュアル・トークンを生成し、DiTが多層クロスアテンションを介してテキストとそれらのトークンに条件付きビデオを表示するハイブリッド・フレームワークであるBiVidGenを提案する。
論文 参考訳（メタデータ） (2026-08-14T07:40:41Z) - CoMoGen: COntrollable MOtion Dynamics and Interactions with Mask-Guided Video GENeration [66.81078857385698]
CoMoGenは、入力画像上に条件付けられた単一のバイナリマスクシーケンスからリアルなインタラクティブなダイナミクスを生成する、制御可能なビデオ生成フレームワークである。
CoMoGenは、制御可能なビデオ生成手法を一貫して上回り、動きの忠実さと知覚的リアリズムにおける最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-05-21T19:51:20Z) - Temporal Consistency-Aware Text-to-Motion Generation [41.71400323450202]
時間的一貫性を考慮したT2M生成フレームワークTCA-T2Mを提案する。
本稿では,時間的整合性を考慮した時空間VQ-VAEを提案する。
HumanML3DとKIT-MLベンチマークの実験は、TCA-T2Mが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2026-02-20T08:17:01Z) - LUMA: Low-Dimension Unified Motion Alignment with Dual-Path Anchoring for Text-to-Motion Diffusion Model [18.564067196226436]
本稿では,2経路アンカーを組み込んだテキスト・ツー・モーション拡散モデルを提案し,セマンティックアライメントを強化する。
FIDスコアはそれぞれ0.035と0.123である。
論文 参考訳（メタデータ） (2025-09-29T17:58:28Z) - ReMoMask: Retrieval-Augmented Masked Motion Generation [13.42229775333369]
Text-to-Motion (T2M) の生成は、自然言語記述から現実的で意味的に整合した人間の動作シーケンスを合成することを目的としている。
3つの重要なイノベーションを統合する統合フレームワークであるReMoMaskを提案する。
双方向Momentum Text-Motion Modelは、モーメントキューを介してバッチサイズから負のサンプルスケールを分離し、クロスモーダル検索精度を大幅に改善する。
Semantic Spatio-temporal Attentionメカニズムは、非同期アーティファクトを排除するために、部分レベル融合中の生体力学的制約を強制する。
論文 参考訳（メタデータ） (2025-08-04T16:56:35Z) - MOGO: Residual Quantized Hierarchical Causal Transformer for High-Quality and Real-Time 3D Human Motion Generation [3.6669020073583756]
MOGOは、効率的でリアルタイムな3Dモーション生成に適した新しい自動回帰フレームワークである。
MoGOは、運動スケール適応型残留ベクトル量子化モジュールであるMoSA-VQと、残留量子化階層型因果変換器であるRQHC-Transformerの2つの重要なコンポーネントから構成される。
意味的忠実性を高めるために,テキスト制御下での動作復号化を改善するテキスト条件アライメント機構を導入する。
論文 参考訳（メタデータ） (2025-06-06T10:26:54Z) - ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer [58.49950218437718]
音声に同期した高忠実で一般化可能な人体動作を生成するための効率的なフレームワークであるReCoMを提案する。
Recurrent Embedded Transformer (RET)は、動的埋め込み正規化(DER)をViT(Vit)コアアーキテクチャに統合する。
モデルロバスト性を高めるため,ノイズ抵抗とクロスドメイン一般化の二重性を持つモデルに,提案したDER戦略を取り入れた。
論文 参考訳（メタデータ） (2025-03-27T16:39:40Z) - Fg-T2M++: LLMs-Augmented Fine-Grained Text Driven Human Motion Generation [19.094098673523263]
テキスト駆動型人体動作生成のための新しいフレームワークを提案する。
Fg-T2M++ は,(1) 身体部分の記述と意味をテキストから抽出する LLM 意味解析モジュール,(2) テキスト単位間の関係情報をエンコードする双曲的テキスト表現モジュール,(3) テキストと運動の特徴を階層的に融合するマルチモーダル融合モジュールからなる。
論文 参考訳（メタデータ） (2025-02-08T11:38:12Z) - Through-The-Mask: Mask-based Motion Trajectories for Image-to-Video Generation [52.337472185022136]
我々は、静的な画像をテキスト記述に基づいてリアルな映像シーケンスに変換するI2V(Image-to-Video)生成の課題について検討する。
I2V生成を分解する2段階の合成フレームワークを提案する。 (i) 明示的な中間表現生成段階, (ii) この表現に条件付けされたビデオ生成段階。
提案手法は,マルチオブジェクトおよびハイモーションシナリオを用いた挑戦的ベンチマークにおいて評価し,提案手法が最先端の整合性を実現することを実証的に示す。
論文 参考訳（メタデータ） (2025-01-06T14:49:26Z) - MDT-A2G: Exploring Masked Diffusion Transformers for Co-Speech Gesture Generation [44.74056930805525]
MDT-A2Gと呼ばれる音声合成のための新しいMasked Diffusion Transformerを提案する。
このモデルは、シーケンスジェスチャ間の時間的関係学習を強化するために特別に設計されたマスクモデリングスキームを用いる。
実験の結果,MDT-A2Gはジェスチャ生成に優れ,従来の拡散変圧器よりも6ドル以上高速な学習速度を有することがわかった。
論文 参考訳（メタデータ） (2024-08-06T17:29:01Z) - Mask Attention Networks: Rethinking and Strengthen Transformer [70.95528238937861]
Transformerは、セルフアテンションネットワーク(SAN)とフィードフォワードネットワーク(FFN)の2つのサブレイヤからなる注目ベースのニューラルネットワークです。
論文 参考訳（メタデータ） (2021-03-25T04:07:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。