論文の概要: ReAlign: Bilingual Text-to-Motion Generation via Step-Aware Reward-Guided Alignment

• arxiv url: http://arxiv.org/abs/2505.04974v1
• Date: Thu, 08 May 2025 06:19:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.770387
• Title: ReAlign: Bilingual Text-to-Motion Generation via Step-Aware Reward-Guided Alignment
• Title（参考訳）: ReAlign: ステップアウェア・リワード誘導アライメントによるバイリンガルテキスト・トゥ・モーション生成
• Authors: Wanjiang Weng, Xiaofeng Tan, Hongsong Wang, Pan Zhou,
• Abstract要約: 本稿では,バイリンガル・テキスト・トゥ・モーション生成モデルにおいて重要なベンチマークとなるバイリンガル・ヒューマン・モーション・データセットであるBiHumanML3Dを提案する。 また,バイリンガル・モーション・ディフュージョン・モデル (BiMD) を提案する。 提案手法は,既存の最先端手法と比較して,テキスト・モーションアライメントと動作品質を著しく向上することを示す。
• 参考スコア（独自算出の注目度）: 48.894439350114396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bilingual text-to-motion generation, which synthesizes 3D human motions from bilingual text inputs, holds immense potential for cross-linguistic applications in gaming, film, and robotics. However, this task faces critical challenges: the absence of bilingual motion-language datasets and the misalignment between text and motion distributions in diffusion models, leading to semantically inconsistent or low-quality motions. To address these challenges, we propose BiHumanML3D, a novel bilingual human motion dataset, which establishes a crucial benchmark for bilingual text-to-motion generation models. Furthermore, we propose a Bilingual Motion Diffusion model (BiMD), which leverages cross-lingual aligned representations to capture semantics, thereby achieving a unified bilingual model. Building upon this, we propose Reward-guided sampling Alignment (ReAlign) method, comprising a step-aware reward model to assess alignment quality during sampling and a reward-guided strategy that directs the diffusion process toward an optimally aligned distribution. This reward model integrates step-aware tokens and combines a text-aligned module for semantic consistency and a motion-aligned module for realism, refining noisy motions at each timestep to balance probability density and alignment. Experiments demonstrate that our approach significantly improves text-motion alignment and motion quality compared to existing state-of-the-art methods. Project page: https://wengwanjiang.github.io/ReAlign-page/.
• Abstract（参考訳）: バイリンガルテキスト入力から人間の3D動作を合成するバイリンガルテキスト・トゥ・モーション・ジェネレーションは、ゲーム、映画、ロボット工学におけるクロス言語的応用の可能性を秘めている。 しかし、この課題は、バイリンガルな動き言語データセットの欠如と拡散モデルにおけるテキストと動きの分布の不一致という重大な課題に直面し、意味的に矛盾する動きや低品質な動きをもたらす。 これらの課題に対処するため,バイリンガル・テキスト・トゥ・モーション生成モデルにおいて重要なベンチマークとなるバイリンガル・ヒューマン・モーション・データセットであるBiHumanML3Dを提案する。 さらに,バイリンガル・モーション・ディフュージョン・モデル (BiMD) を提案する。 これに基づいて、サンプリング中のアライメント品質を評価するステップ認識報酬モデルと、拡散過程を最適に整合した分布に導く報酬誘導戦略を含む、Reward-guided sample Alignment (ReAlign)法を提案する。 この報酬モデルは、ステップ認識トークンを統合し、意味的一貫性のためのテキスト整列モジュールとリアリズムのための動き整列モジュールを組み合わせる。 実験により,本手法は既存の最先端手法と比較して,テキスト・モーションアライメントと動作品質を著しく改善することが示された。 プロジェクトページ:https://wengwanjiang.github.io/ReAlign-page/。

関連論文リスト

• MoTe: Learning Motion-Text Diffusion Model for Multiple Generation Tasks [30.333659816277823]
  動作とテキストの限界,条件,共同分布を同時に学習することで,多様なタスクを処理できる統合マルチモーダルモデルであるtextbfMoTe を提示する。 MoTeは3つのコンポーネントで構成されている: Motion-Decoder (MED)、Text-Decoder (TED)、Moti-on-Text Diffusion Model (MTDM)。
  論文  参考訳（メタデータ） (2024-11-29T15:48:24Z)
• SemanticBoost: Elevating Motion Generation with Augmented Textual Cues [73.83255805408126]
  我々のフレームワークはセマンティック・エンハンスメント・モジュールとコンテキスト調整型モーション・デノイザ(CAMD)から構成されている。 CAMDアプローチは、高品質でセマンティックに一貫性のあるモーションシーケンスを生成するための全エンコンパスソリューションを提供する。 実験の結果,SemanticBoostは拡散法として自己回帰法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-31T09:58:11Z)
• Fg-T2M: Fine-Grained Text-Driven Human Motion Generation via Diffusion Model [11.873294782380984]
  そこで本研究では,高精度なテキスト記述をサポートする高品質な条件付き人間の動作シーケンスを生成するための微細な手法を提案する。 本手法は,1) テキスト情報を完全に活用するための正確かつ完全な言語特徴を構築する言語構造支援モジュール,2) 多段階推論を実現するために,浅層および深層グラフニューラルネットワークから近隣および総合的な意味論的特徴を学習する文脈認識プログレッシブ推論モジュールの2つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2023-09-12T14:43:47Z)
• DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion [70.33381660741861]
  テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。 我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
  論文  参考訳（メタデータ） (2023-09-04T05:43:48Z)
• Text-to-Motion Retrieval: Towards Joint Understanding of Human Motion Data and Natural Language [4.86658723641864]
  本研究では,特定の自然記述に基づいて関連動作を検索することを目的とした,新たなテキスト・ツー・モーション検索タスクを提案する。 テキスト対画像/ビデオマッチングの最近の進歩に触発されて、広く採用されている2つのメトリック学習損失関数を実験した。
  論文  参考訳（メタデータ） (2023-05-25T08:32:41Z)
• ABINet++: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Spotting [121.11880210592497]
  言語モデルの限られた能力は,1)暗黙的な言語モデリング,2)一方向の特徴表現,3)雑音入力を伴う言語モデルから生じる。 シーンテキストスポッティングのための自律的で双方向かつ反復的なABINet++を提案する。
  論文  参考訳（メタデータ） (2022-11-19T03:50:33Z)
• TM2T: Stochastic and Tokenized Modeling for the Reciprocal Generation of 3D Human Motions and Texts [20.336481832461168]
  視覚と言語との強い結びつきから着想を得た本論文は,テキストから3次元人間のフルボディ運動の生成を探求することを目的とする。 本稿では,離散的かつコンパクトな動き表現である動きトークンを提案する。 私たちのアプローチは柔軟で、text2motionと Motion2textタスクの両方に使用できます。
  論文  参考訳（メタデータ） (2022-07-04T19:52:18Z)
• TEMOS: Generating diverse human motions from textual descriptions [53.85978336198444]
  テキスト記述から多種多様な人間の動作を生成するという課題に対処する。 本研究では,人間の動作データを用いた可変オートエンコーダ(VAE)トレーニングを利用したテキスト条件生成モデルTEMOSを提案する。 TEMOSフレームワークは,従来のような骨格に基づくアニメーションと,より表現力のあるSMPLボディモーションの両方を生成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T14:53:06Z)
• Modeling Motion with Multi-Modal Features for Text-Based Video Segmentation [56.41614987789537]
  テキストベースのビデオセグメンテーションは、対象のオブジェクトを記述文に基づいてビデオに分割することを目的としている。 本研究では, 正確なセグメンテーションを実現するために, 外観, 動き, 言語的特徴を融合, 整合させる手法を提案する。
  論文  参考訳（メタデータ） (2022-04-06T02:42:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。