論文の概要: Cross-Axis Feature Fusion with Joint-Wise Motion Difference Prediction for Text-Based 3D Human Motion Editing
- arxiv url: http://arxiv.org/abs/2606.01014v1
- Date: Sun, 31 May 2026 05:09:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:29.072569
- Title: Cross-Axis Feature Fusion with Joint-Wise Motion Difference Prediction for Text-Based 3D Human Motion Editing
- Title(参考訳): テキストベース3次元動作編集のための関節幅運動差予測を用いたクロス軸特徴融合
- Authors: Gyojin Han, Junmo Kim,
- Abstract要約: そこでは,自然言語で記述した編集を適用しながら,原文の動きのスタイルと構造を保存することを目的とする。
私たちのゴールは、この時間的側面だけでなく、特定のジョイントが変化に責任を持つのかを理解するモデルを作ることです。
- 参考スコア(独自算出の注目度): 12.284953145384264
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address text-based 3D human motion editing, where the goal is to preserve the style and structure of a source motion while applying edits described in natural language. The release of the MotionFix dataset has spurred active research into training-based diffusion models that directly generate an edited motion from a source motion and a text instruction. While previous works have focused primarily on learning when an edit should occur temporally, our goal is to create a model that understands not only this temporal aspect but also which specific joints are responsible for the change. Targeting this, we propose a novel architecture and a complementary auxiliary task to aid its training. Our architecture consists of two axis-anchored transformers, which extract distinct features along the joint and time dimensions respectively, and a cross-axis fusion block that integrates these representations. We further introduce an auxiliary task that trains the joint-anchored transformer to regress the Soft-DTW distance between source and target joint rotations. This objective teaches the module to understand which joints to modify and which to preserve. Through comprehensive experiments on the MotionFix dataset, we demonstrate that our method significantly improves semantic alignment with both the text instruction and the source motion, as well as the overall fidelity of the generated motion, achieving state-of-the-art results.
- Abstract(参考訳): そこでは,自然言語で記述した編集を適用しながら,原文の動きのスタイルと構造を保存することを目的とする。
MotionFixデータセットのリリースにより、ソースモーションとテキストインストラクションから編集されたモーションを直接生成するトレーニングベースの拡散モデルが活発に研究されている。
これまでの研究は、編集が時間的に行われるべきときの学習に重点を置いてきたが、私たちのゴールは、この時間的側面だけでなく、どの関節が変化に責任を持つのかを理解するモデルを作ることです。
そこで本研究では,この学習を支援するために,新しいアーキテクチャと補完的な補助的タスクを提案する。
構造は2つの軸アンコール変換器からなり、それぞれ関節と時間次元に沿って異なる特徴を抽出し、これらの表現を統合するクロス軸融合ブロックで構成されている。
さらに,ソースとターゲットの関節回転間のソフトDTW距離を抑えるために,共振変換器を訓練する補助タスクを導入する。
この目的は、どのジョイントを変更するか、どのジョイントを保存するかを理解するようにモジュールに教える。
我々は、MotionFixデータセットの総合的な実験を通じて、本手法がテキスト命令とソース動作のセマンティックアライメントを大幅に改善し、生成した動きの全体的忠実度を向上し、最先端の結果が得られることを示した。
関連論文リスト
- Omni-Supervised Motion Editing: Balancing Change and Invariance through Positive-Negative Learning [55.410155357480654]
我々はOmniMEという,Omni-Supervised Positive-Negative Learningフレームワークを提案する。
本手法は3つの相補的成分を統合する。
MotionFixとSTANCE調整データセットの実験は、OmniMEが編集アライメントにおける最先端のパフォーマンスを達成することを示した。
論文 参考訳(メタデータ) (2026-05-29T08:09:51Z) - InterEdit: Navigating Text-Guided Multi-Human 3D Motion Editing [73.51964472028392]
本稿では,複数の人物による3Dモーション編集のタスクについて紹介する。
これをサポートするために、InterEdit3D、手動2人動作変更アノテーションを備えた新しいデータセット、およびテキスト誘導多人動作編集(TMME)ベンチマークを提案する。
InterEditはテキスト間の一貫性を改善し、忠実さを編集し、最先端のTMMEパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-03-13T15:30:51Z) - SimMotionEdit: Text-Based Human Motion Editing with Motion Similarity Prediction [20.89960239295474]
本稿では,関連するタスク,動作類似度予測を導入し,マルチタスク学習パラダイムを提案する。
我々は、意味論的意味のある表現の学習を促進するために、動きの編集と動きの類似性予測を共同で訓練する。
実験は、アライメントと忠実さの両面において、我々のアプローチの最先端性能を実証した。
論文 参考訳(メタデータ) (2025-03-23T21:29:37Z) - MotionFix: Text-Driven 3D Human Motion Editing [52.11745508960547]
主な課題は、トレーニングデータの不足と、ソースの動きを正確に編集するモデルの設計である。
本研究では, (i) 震源運動, (ii) 目標運動, (iii) 編集テキストからなる三つ組のデータセットを半自動で収集する手法を提案する。
このデータにアクセスすると、ソースモーションと編集テキストの両方を入力として取り込む条件拡散モデルTMEDをトレーニングできます。
論文 参考訳(メタデータ) (2024-08-01T16:58:50Z) - SemanticBoost: Elevating Motion Generation with Augmented Textual Cues [73.83255805408126]
我々のフレームワークはセマンティック・エンハンスメント・モジュールとコンテキスト調整型モーション・デノイザ(CAMD)から構成されている。
CAMDアプローチは、高品質でセマンティックに一貫性のあるモーションシーケンスを生成するための全エンコンパスソリューションを提供する。
実験の結果,SemanticBoostは拡散法として自己回帰法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-10-31T09:58:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。