論文の概要: BiMoGen: Bidirectional Motion-Text Generation via Unified Masked Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2609.35407v1
• Date: Mon, 28 Sep 2026 15:27:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 05:47:37.461163
• Title: BiMoGen: Bidirectional Motion-Text Generation via Unified Masked Discrete Diffusion
• Title（参考訳）: BiMoGen:unified Masked Discrete Diffusionによる双方向モーションテキスト生成
• Abstract要約: BiMoGenは双方向モーションテキストモデリングのためのマスク付き離散拡散フレームワークである。 Masked Pretrainingは、ペア化されたモーションテキストシーケンスのクロスモーダル対応を確立し、その後、微調整を監督し、双方向生成のためのモデルを専門化する。 Generation-Aware Self-Correctionは、トレーニング中にモデルを自身の予測に公開し、早期サンプリングステップで修正パスを適用して、信頼性の低いトークンを修正します。
• 参考スコア（独自算出の注目度）: 12.022552067912605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-motion generation and motion-to-text captioning are two fundamental tasks in human motion modeling, both grounded in the same underlying motion-text correspondence. Existing unified approaches mostly rely on autoregressive modeling, which imposes a fixed generation order and is therefore poorly suited to the bidirectional dependencies between language and motion, allowing early prediction errors to persist as fixed context and degrade both temporal coherence and cross-modal consistency. Masked discrete diffusion, which models sequences through iterative bidirectional prediction, offers a natural remedy. We therefore propose BiMoGen (Bidirectional Motion-text Generation), a unified masked discrete diffusion framework for bidirectional motion-text modeling. To stabilize training, we design Decoupled Uni- and Cross-Modal Training, in which masked pretraining first establishes cross-modal correspondence on paired motion-text sequences, after which supervised fine-tuning specializes the model for bidirectional generation. Masked diffusion nonetheless introduces its own source of error, as the model is trained on clean ground-truth context yet encounters self-generated and potentially erroneous context at inference, with errors committed under heavily masked states propagating through subsequent steps. We further introduce Generation-Aware Self-Correction that exposes the model to its own predictions during training and applies correction passes at early sampling steps to revise unreliably committed tokens. Extensive experiments on HumanML3D and KIT-ML demonstrate competitive performance on both tasks, validating the effectiveness of the proposed two-stage training and self-correction designs. The project page is available at https://wengwanjiang.github.io/BiMoGen-Page.
• Abstract（参考訳）: テキスト・トゥ・モーション・キャプションとモーション・トゥ・テキスト・キャプションは、人間のモーション・モデリングにおける2つの基本的なタスクである。 既存の統一されたアプローチは、主に自己回帰モデリングに依存しており、これは固定された生成順序を課し、したがって言語と運動の間の双方向の依存関係に不適であり、早期予測エラーが固定されたコンテキストとして持続し、時間的一貫性と相互整合性の両方を低下させることができる。 反復的双方向予測を通じてシーケンスをモデル化するマスク離散拡散は、自然な治療を提供する。 そこで本稿では,双方向動作テキストモデリングのためのマスク付き離散拡散フレームワークであるBiMoGenを提案する。 トレーニングを安定させるために、マスク付き事前訓練がペアの動作テキストシーケンス上でクロスモーダル対応を確立するデカップリングユニモーダルトレーニングとクロスモーダルトレーニングを設計し、その後、教師付き微調整が双方向生成のためのモデルを専門化する。 たとえ仮面拡散が独自のエラーの原因をもたらすとしても、モデルはクリーンな地道的コンテキストで訓練されるが、推論時に自己生成され、潜在的に誤ったコンテキストに遭遇し、その後のステップを通じて重くマスキングされた状態の下でエラーが発生するためである。 さらに、トレーニング中にモデルを自身の予測に公開し、早期サンプリングステップで修正パスを適用して、信頼できないトークンの修正を行うジェネレーション・アウェア・セルフコレクションを導入する。 HumanML3DとKIT-MLの大規模な実験は、両タスクの競合性能を示し、提案した2段階のトレーニングと自己補正の設計の有効性を検証する。 プロジェクトページはhttps://wengwanjiang.github.io/BiMoGen-Page.comで公開されている。

関連論文リスト

• TextLDM: Language Modeling with Continuous Latent Diffusion [89.69255520673248]
  拡散変換器(DiT)は、VAEラテント空間におけるフローマッチングで訓練され、画像やビデオ間で統一された視覚生成を行う。 最小限のアーキテクチャ変更で視覚的潜伏拡散のレシピをテキスト生成に転送するTextLDMを提案する。
  論文  参考訳（メタデータ） (2026-05-08T13:54:34Z)
• DiMo: Discrete Diffusion Modeling for Motion Generation and Understanding [25.254783224309488]
  マスク付きモデリングからテキスト-モーション理解と生成まで拡張した,離散拡散スタイルのフレームワークであるDiMoを提案する。 動きをトークン化し、順次デコードするGPTスタイルの自己回帰アプローチとは異なり、DiMoは繰り返しマスク付きトークン精錬を行う。 HumanML3DとKIT-MLの実験は、強い運動品質と競合する双方向理解を示す。
  論文  参考訳（メタデータ） (2026-02-04T04:01:02Z)
• Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
  離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。 階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。 提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-01-07T16:21:19Z)
• From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model [72.73512218682187]
  ReDiff(Refining-enhanced diffusion framework)は、モデルに自身のエラーを特定し、修正するように教えるフレームワークである。 まず、合成エラーを修正するためにモデルをトレーニングすることで、基礎的なリビジョン機能を具現化し、次に、新しいオンライン自己補正ループを実装します。 この誤り駆動学習は、モデルに既存の出力を再検討し、洗練する重要な能力を与え、エラーカスケードを効果的に破壊する。
  論文  参考訳（メタデータ） (2025-10-22T06:58:55Z)
• MotionGPT3: Human Motion as a Second Modality [28.616340011811843]
  MotionGPT3は、理解と生成の両方のためのバイモーダルモーション言語モデルである。 共通注意を持つデュアルストリームトランスは、制御された双方向情報フローを実現しつつ、モダリティ固有の経路を保存する。 実験により、MotionGPT3はトレーニング損失の2倍高速収束、検証の最大4倍高速収束を実現している。
  論文  参考訳（メタデータ） (2025-06-30T17:42:22Z)
• Text-driven Human Motion Generation with Motion Masked Diffusion Model [23.637853270123045]
  テキスト・ヒューマン・モーション・ジェネレーション(テキスト・ヒューマン・モーション・ジェネレーション)は、自然言語で条件付けられた人間の動作シーケンスを合成するタスクである。 現在の拡散モデルに基づくアプローチは、生成の多様性と多モード性において優れた性能を持つ。 拡散モデルのための新しい動き機構である運動マスク付き拡散モデルbftext(MMDM)を提案する。
  論文  参考訳（メタデータ） (2024-09-29T12:26:24Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation [49.916963624249355]
  UNMTモデルは、翻訳されたソースと推論中の自然言語で擬似並列データに基づいて訓練される。 トレーニングと推論のソース差はUNMTモデルの翻訳性能を妨げている。 本稿では、擬似並列データ自然言語を同時に用いたオンライン自己学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T04:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。