論文の概要: Enhancing Motion Variation in Text-to-Motion Models via Pose and Video Conditioned Editing

• arxiv url: http://arxiv.org/abs/2410.08931v1
• Date: Fri, 11 Oct 2024 15:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 21:06:06.597904
• Title: Enhancing Motion Variation in Text-to-Motion Models via Pose and Video Conditioned Editing
• Title（参考訳）: 詩と映像条件編集によるテキスト・ツー・モーションモデルにおける動き変化の促進
• Authors: Clayton Leite, Yu Xiao,
• Abstract要約: 本稿では,既存の基本動作を修正するための条件として,短いビデオクリップや画像を使用する新しい手法を提案する。 このアプローチでは、モデルのキックに対する理解が先行として機能し、フットボールキックのビデオやイメージが後部として機能する。 26名の被験者によるユーザスタディにより,本手法はテキスト・モーション・データセットにおいて,一般的に表現される動きに匹敵するリアルな動きを生み出すことを示した。
• 参考スコア（独自算出の注目度）: 0.7346176144621106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-motion models that generate sequences of human poses from textual descriptions are garnering significant attention. However, due to data scarcity, the range of motions these models can produce is still limited. For instance, current text-to-motion models cannot generate a motion of kicking a football with the instep of the foot, since the training data only includes martial arts kicks. We propose a novel method that uses short video clips or images as conditions to modify existing basic motions. In this approach, the model's understanding of a kick serves as the prior, while the video or image of a football kick acts as the posterior, enabling the generation of the desired motion. By incorporating these additional modalities as conditions, our method can create motions not present in the training set, overcoming the limitations of text-motion datasets. A user study with 26 participants demonstrated that our approach produces unseen motions with realism comparable to commonly represented motions in text-motion datasets (e.g., HumanML3D), such as walking, running, squatting, and kicking.
• Abstract（参考訳）: テキスト記述から人間のポーズのシーケンスを生成するテキスト・ツー・モーションモデルが注目されている。 しかし、データ不足のため、これらのモデルが生成できる動きの範囲はまだ限られている。 例えば、現在のテキスト・トゥ・モーションモデルでは、トレーニングデータには武道のキックしか含まれていないため、足の甲板でサッカーを蹴る動きは生じない。 本稿では,既存の基本動作を修正するための条件として,短いビデオクリップや画像を使用する新しい手法を提案する。 このアプローチでは、モデルのキックに対する理解が先行として機能し、フットボールキックのビデオやイメージが後部として機能し、所望の動作の生成を可能にする。 これらの追加モダリティを条件として組み込むことで、本手法は、テキストモーションデータセットの制限を克服し、トレーニングセットに存在しない動作を生成することができる。 26名の被験者によるユーザスタディでは、歩行、ランニング、しゃがみ、蹴りといったテキスト・モーション・データセット(例えば、HumanML3D)で一般的に表現される動きに匹敵するリアルな動きを、我々のアプローチが生み出すことを示した。

関連論文リスト

• MotionMatcher: Motion Customization of Text-to-Video Diffusion Models via Motion Feature Matching [27.28898943916193]
  テキスト・ツー・ビデオ(T2V)拡散モデルは、入力されたテキスト・プロンプトからリアルな動画を合成する有望な能力を持つ。 本研究では,モーションガイダンスとして参照映像が提供される動作カスタマイズ問題に取り組む。 我々は,事前学習したT2V拡散モデルを特徴レベルで微調整するモーションカスタマイズフレームワークであるMotionMatcherを提案する。
  論文  参考訳（メタデータ） (2025-02-18T19:12:51Z)
• Motion Prompting: Controlling Video Generation with Motion Trajectories [57.049252242807874]
  スパースもしくは高密度なビデオ軌跡を条件とした映像生成モデルを訓練する。 ハイレベルなユーザリクエストを,詳細なセミセンスな動作プロンプトに変換する。 我々は、カメラや物体の動き制御、画像との「相互作用」、動画転送、画像編集など、様々な応用を通してアプローチを実証する。
  論文  参考訳（メタデータ） (2024-12-03T18:59:56Z)
• MoTrans: Customized Motion Transfer with Text-driven Video Diffusion Models [59.10171699717122]
  MoTransは、新しいコンテキストにおける類似した動きのビデオ生成を可能にする、カスタマイズされたモーション転送方式である。 再カプセル化されたプロンプトとビデオフレームからのマルチモーダル表現は、外観のモデリングを促進する。 本手法は, 特定の動きパターンを, 単一の参照ビデオや複数参照ビデオから効果的に学習する。
  論文  参考訳（メタデータ） (2024-12-02T10:07:59Z)
• Fleximo: Towards Flexible Text-to-Human Motion Video Generation [17.579663311741072]
  本稿では,参照画像と自然言語のみから人間のモーションビデオを生成するための新しいタスクを提案する。 本稿では,大規模事前学習型テキスト・ツー・3Dモーションモデルを利用したFleximoというフレームワークを提案する。 Fleximoの性能を評価するために、20のアイデンティティと20のモーションにわたる400の動画を含むMotionBenchという新しいベンチマークを導入した。
  論文  参考訳（メタデータ） (2024-11-29T04:09:13Z)
• MotionFix: Text-Driven 3D Human Motion Editing [52.11745508960547]
  主な課題は、トレーニングデータの不足と、ソースの動きを正確に編集するモデルの設計である。 本研究では, (i) 震源運動, (ii) 目標運動, (iii) 編集テキストからなる三つ組のデータセットを半自動で収集する手法を提案する。 このデータにアクセスすると、ソースモーションと編集テキストの両方を入力として取り込む条件拡散モデルTMEDをトレーニングできます。
  論文  参考訳（メタデータ） (2024-08-01T16:58:50Z)
• Reenact Anything: Semantic Video Motion Transfer Using Motion-Textual Inversion [9.134743677331517]
  本研究では、動きから外見を遠ざけるために、事前訓練された画像間映像モデルを提案する。 動作テキストインバージョン(Motion-textual Inversion)と呼ばれるこの手法は、画像から映像へのモデルが、主に(相対的な)画像入力から外観を抽出する、という観察を生かしている。 フレームごとの複数のテキスト/画像埋め込みトークンを含むインフレーションされたモーションテキスト埋め込みを操作することにより、高時間運動粒度を実現する。 動作参照ビデオと対象画像の間に空間的アライメントを必要とせず,様々な領域にまたがって一般化し,様々なタスクに適用することができる。
  論文  参考訳（メタデータ） (2024-08-01T10:55:20Z)
• Monkey See, Monkey Do: Harnessing Self-attention in Motion Diffusion for Zero-shot Motion Transfer [55.109778609058154]
  既存の拡散に基づく運動編集法は、事前訓練されたモデルの重みに埋め込まれた前者の深いポテンシャルを見落としている。 動きパターンのキャプチャーと表現における注目要素の役割と相互作用を明らかにする。 我々はこれらの要素を統合して、従者のニュアンス特性を維持しつつ、従者へのリーダ動作の転送を行い、結果としてゼロショット動作の転送を実現した。
  論文  参考訳（メタデータ） (2024-06-10T17:47:14Z)
• Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
  本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。 我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。 トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
  論文  参考訳（メタデータ） (2024-04-16T16:04:38Z)
• NewMove: Customizing text-to-video models with novel motions [74.9442859239997]
  動作をカスタマイズしたテキスト・ビデオ・ジェネレーション・モデルを構築するためのアプローチを提案する。 入力として特定の動きを示すビデオサンプルを活用することで,入力動作パターンを多種多様なテキスト特定シナリオに対して学習し,一般化する。
  論文  参考訳（メタデータ） (2023-12-07T18:59:03Z)
• Space-Time Diffusion Features for Zero-Shot Text-Driven Motion Transfer [27.278989809466392]
  本稿では,対象オブジェクトとシーンを記述する入力テキストプロンプトに準拠する動画を合成する,テキスト駆動型モーショントランスファーの新しい手法を提案する。 我々は、事前に訓練された、固定されたテキスト-ビデオ拡散モデルを活用し、生成および動きの先行情報を提供する。
  論文  参考訳（メタデータ） (2023-11-28T18:03:27Z)
• MotionDirector: Motion Customization of Text-to-Video Diffusion Models [24.282240656366714]
  Motion Customizationは、既存のテキストとビデオの拡散モデルを適用して、カスタマイズされたモーションでビデオを生成することを目的としている。 我々は、外見と動きの学習を分離するために、デュアルパスのLoRAsアーキテクチャを持つMotionDirectorを提案する。 また,異なる動画の外観と動きの混合や,カスタマイズされたモーションによる単一画像のアニメーションなど,さまざまなダウンストリームアプリケーションもサポートしている。
  論文  参考訳（メタデータ） (2023-10-12T16:26:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。