論文の概要: MoRAE: Flow-Friendly Self-Supervised Latents for Text-to-Motion Generation

• arxiv url: http://arxiv.org/abs/2607.29180v1
• Date: Fri, 31 Jul 2026 09:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.659783
• Title: MoRAE: Flow-Friendly Self-Supervised Latents for Text-to-Motion Generation
• Title（参考訳）: MoRAE: テキスト・トゥ・モーション・ジェネレーションのためのフローフレンドリーな自己監督型潜水器
• Abstract要約: テキスト・トゥ・モーション生成は意味論的に正しい、時間的に一貫性があり、物理的に妥当な動作を生成する必要がある。 自然なアプローチは、まず動きデータを構造化された意味空間に投影し、その空間内で生成モデルを訓練することである。 コンパクトなボトルネックは、弱い方向と冗長方向を除去しながら構造化されたJEPA表現を蒸留する。 モーションカップリングトレーニングは、保持された潜時幾何学を復号器と整列させ、復号後の特性流の誤差を低減させる。
• 参考スコア（独自算出の注目度）: 28.960999832402845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-motion generation must produce motions that are semantically correct, temporally coherent, and physically plausible. A natural approach is to first project motion data into a structured semantic space and then train a generative model within that space. Such a paradigm has been highly successful in image generation through Representation Autoencoders (RAEs), where a frozen self-supervised encoder provides semantic features for diffusion or flow models to learn from. However, direct transfer of such a paradigm to motion space using Motion-JEPA as the frozen encoder fails dramatically. We diagnose this failure geometrically and identify two motion-specific bottlenecks: (1) the JEPA feature space is spectrally ill-conditioned, making the Gaussian-to-data transport unstable; and (2) even with a well-conditioned spectrum, flow residuals tend to align with decoder-sensitive directions, where small latent errors are amplified into large motion artifacts after decoding. Based on these insights, we propose MoRAE. MoRAE addresses the two bottlenecks separately. A compact bottleneck distills the structured JEPA representation while removing weak and redundant directions, bringing the latent spectrum into a transport-stable regime. Motion-coupled training then aligns the retained latent geometry with the decoder, making characteristic flow errors less costly after decoding. With this flow-friendly latent, a standard non-autoregressive Flow-Matching DiT achieves state-of-the-art performance.
• Abstract（参考訳）: テキスト・トゥ・モーション生成は意味論的に正しい、時間的に一貫性があり、物理的に妥当な動作を生成する必要がある。 自然なアプローチは、まず動きデータを構造化された意味空間に投影し、その空間内で生成モデルを訓練することである。 このようなパラダイムはRepresentation Autoencoders (RAEs) を通じて画像生成に成功しており、凍結した自己教師付きエンコーダが拡散やフローモデルから学ぶための意味的特徴を提供する。 しかし、凍結エンコーダとしてのモーションJEPAを用いた運動空間へのそのようなパラダイムの直接転送は、劇的に失敗する。 この障害を幾何学的に診断し,(1)JEPA特徴空間はスペクトル的に不調であり,ガウスからデータへの輸送が不安定である,(2)十分に条件の整ったスペクトルであっても,フロー残差はデコーダに敏感な方向と一致しがちであり,そこでは遅延誤差がデコード後の大きな動きアーティファクトに増幅される。 これらの知見に基づき,MoRAEを提案する。 MoRAEは2つのボトルネックに別々に対処する。 コンパクトなボトルネックは、構造化されたJEPA表現を蒸留し、弱い方向と冗長な方向を除去し、遅延スペクトルを輸送安定状態に導く。 モーションカップリングトレーニングは、保持された潜時幾何学を復号器と整列させ、復号後の特性流の誤差を低減させる。 このフローフレンドリーな潜水器により、標準的な非自己回帰型フローマッチング DiT は最先端のパフォーマンスを達成する。

関連論文リスト

• Drifting Models for Surrogate Flow Modeling [0.4925906256430175]
  学習されたVAE潜在空間でドリフトを行う条件付きアーキテクチャを導入し,ラベル認識マスキングを用いて生成したサンプルを境界条件に整列させる。 我々のモデルは、2桁の精度と流れの整合性の反復拡散に一致し、2桁の速度で実行することができる。
  論文  参考訳（メタデータ） (2026-06-05T17:35:09Z)
• SRC-Flow: Compact Semantic Representations Enable Normalizing Flows for Image Generation [73.51436199324066]
  正規化フロー(NF)は、正確な確率と決定論的非可逆サンプリングを提供するが、大規模な画像生成のための拡散モデルに遅れを取っている。 低次元意味空間にコンパクトな高次元RAE特徴にセマンティック表現(SRC)を導入するSRC-Flowを提案する。 SRC-Flowは、計算不要なガイダンスの下で、gFIDスコア1.65と2.07で、フローメソッド間の最先端の生成品質を実現する。
  論文  参考訳（メタデータ） (2026-05-18T12:03:41Z)
• Reconstruction-Anchored Diffusion Model for Text-to-Motion Generation [34.87535133080741]
  拡散モデルは、テキスト駆動の人間の動き生成と関連するタスクに広く採用されている。 現在の動き拡散モデルは、運動固有情報を持たない事前訓練されたテキストエンコーダによって引き起こされる表現的ギャップと、反復的復調過程におけるエラー伝播の2つの大きな制限に直面している。 本稿では,これらの課題に対処するため,再構成型拡散モデル(RAM)を提案する。
  論文  参考訳（メタデータ） (2026-01-21T09:11:45Z)
• LUMA: Low-Dimension Unified Motion Alignment with Dual-Path Anchoring for Text-to-Motion Diffusion Model [18.564067196226436]
  本稿では,2経路アンカーを組み込んだテキスト・ツー・モーション拡散モデルを提案し,セマンティックアライメントを強化する。 FIDスコアはそれぞれ0.035と0.123である。
  論文  参考訳（メタデータ） (2025-09-29T17:58:28Z)
• Bidirectional Feature-aligned Motion Transformation for Efficient Dynamic Point Cloud Compression [97.66080040613726]
  特徴空間における動きを暗黙的にモデル化する双方向特徴整合運動変換(Bi-FMT)フレームワークを提案する。 Bi-FMTは、時間的に一貫した潜在表現を生成するために、過去と将来の両方のフレームで機能を調整する。 圧縮効率とランタイムの両方において, Bi-FMT が D-DPCC と AdaDPCC を上回っていることを示す。
  論文  参考訳（メタデータ） (2025-09-18T03:51:06Z)
• FLEX: A Backbone for Diffusion-Based Modeling of Spatio-temporal Physical Systems [51.15230303652732]
  FLEX (F Low Expert) は、時間物理系の生成モデリングのためのバックボーンアーキテクチャである。 拡散モデルにおける速度場の分散を低減し、トレーニングの安定化に役立つ。 少数の特徴を2つの逆拡散ステップとして用いて、超解像および予測タスクの正確な予測を行う。
  論文  参考訳（メタデータ） (2025-05-23T00:07:59Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Unsupervised Motion Representation Learning with Capsule Autoencoders [54.81628825371412]
  Motion Capsule Autoencoder (MCAE) は、2レベル階層のモーションをモデル化する。 MCAEは、新しいTrajectory20モーションデータセットと、様々な現実世界の骨格に基づく人間のアクションデータセットで評価されている。
  論文  参考訳（メタデータ） (2021-10-01T16:52:03Z)
• Do Generative Models Know Disentanglement? Contrastive Learning is All You Need [59.033559925639075]
  本論文では,変数空間におけるコントラスト(DisCo)による非監視的,モデル非依存的手法を提案する。 DisCoは、GAN、VAE、およびフローを含む、事前訓練された非解離生成モデルに与えられた最先端の解離を達成します。
  論文  参考訳（メタデータ） (2021-02-21T08:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。