論文の概要: MoRAG -- Multi-Fusion Retrieval Augmented Generation for Human Motion

• arxiv url: http://arxiv.org/abs/2409.12140v1
• Date: Wed, 18 Sep 2024 17:03:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 16:35:11.501112
• Title: MoRAG -- Multi-Fusion Retrieval Augmented Generation for Human Motion
• Title（参考訳）: MoRAG -- マルチフュージョン検索による人体運動生成
• Authors: Kalakonda Sai Shashank, Shubh Maheshwari, Ravi Kiran Sarvadevabhatla,
• Abstract要約: MoRAGは、テキストベースの人間動作生成のための、新しい多部融合に基づく検索強化生成戦略である。 得られた動きの空間的組成から多様なサンプルを作成する。 我々のフレームワークはプラグイン・アンド・プレイモジュールとして機能し、モーション拡散モデルの性能を向上させることができる。
• 参考スコア（独自算出の注目度）: 8.94802080815133
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce MoRAG, a novel multi-part fusion based retrieval-augmented generation strategy for text-based human motion generation. The method enhances motion diffusion models by leveraging additional knowledge obtained through an improved motion retrieval process. By effectively prompting large language models (LLMs), we address spelling errors and rephrasing issues in motion retrieval. Our approach utilizes a multi-part retrieval strategy to improve the generalizability of motion retrieval across the language space. We create diverse samples through the spatial composition of the retrieved motions. Furthermore, by utilizing low-level, part-specific motion information, we can construct motion samples for unseen text descriptions. Our experiments demonstrate that our framework can serve as a plug-and-play module, improving the performance of motion diffusion models. Code, pretrained models and sample videos will be made available at: https://motion-rag.github.io/
• Abstract（参考訳）: そこで本研究では,テキストベースのヒューマンモーション生成のための多部融合に基づく検索強化生成戦略であるMoRAGを紹介する。 この方法は、改良された動き検索プロセスを通じて得られた追加知識を活用することにより、動き拡散モデルを強化する。 大規模言語モデル(LLM)を効果的に推進することにより,動作検索におけるスペルエラーや言い換え問題に対処する。 提案手法は,多部探索手法を用いて,言語空間における運動検索の一般化性を向上させる。 得られた動きの空間的組成から多様なサンプルを作成する。 さらに,低レベルな部分特異的な動作情報を利用することで,未知のテキスト記述のための動作サンプルを構築することができる。 実験により,我々のフレームワークはプラグイン・アンド・プレイモジュールとして機能し,運動拡散モデルの性能向上を図っている。 コード、事前訓練されたモデル、サンプルビデオは、https://motion-rag.github.io/で利用可能になる。

関連論文リスト

• Motion-Agent: A Conversational Framework for Human Motion Generation with LLMs [67.59291068131438]
  Motion-Agentは、一般的な人間の動きの生成、編集、理解のために設計された会話フレームワークである。 Motion-Agentはオープンソースの事前学習言語モデルを使用して、モーションとテキストのギャップを埋める生成エージェントであるMotionLLMを開発した。
  論文  参考訳（メタデータ） (2024-05-27T09:57:51Z)
• Motion Flow Matching for Human Motion Synthesis and Editing [75.13665467944314]
  本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。 提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-14T12:57:35Z)
• Real-time Animation Generation and Control on Rigged Models via Large Language Models [50.034712575541434]
  本稿では,自然言語入力を用いたリップモデル上でのリアルタイムアニメーション制御と生成のための新しい手法を提案する。 大規模言語モデル(LLM)をUnityに組み込んで構造化テキストを出力し、多種多様なリアルなアニメーションに解析する。
  論文  参考訳（メタデータ） (2023-10-27T01:36:35Z)
• ReMoDiffuse: Retrieval-Augmented Motion Diffusion Model [33.64263969970544]
  3Dのモーション生成はクリエイティブ産業にとって不可欠だ。 近年の進歩は、テキスト駆動モーション生成のためのドメイン知識を持つ生成モデルに依存している。 本稿では拡散モデルに基づく動き生成フレームワークReMoDiffuseを提案する。
  論文  参考訳（メタデータ） (2023-04-03T16:29:00Z)
• MoFusion: A Framework for Denoising-Diffusion-based Motion Synthesis [73.52948992990191]
  MoFusionは、高品質な条件付き人間のモーション合成のための新しいノイズ拡散ベースのフレームワークである。 本研究では,運動拡散フレームワーク内での運動可視性に対して,よく知られたキネマティック損失を導入する方法を提案する。 文献の確立されたベンチマークにおけるMoFusionの有効性を,技術の現状と比較した。
  論文  参考訳（メタデータ） (2022-12-08T18:59:48Z)
• FLAME: Free-form Language-based Motion Synthesis & Editing [17.70085940884357]
  FLAMEと呼ばれる拡散型モーション合成・編集モデルを提案する。 FLAMEは、与えられたテキストによく整合した高忠実な動作を生成することができる。 フレームワイドでもジョイントワイドでも、微調整なしで動きの一部を編集できます。
  論文  参考訳（メタデータ） (2022-09-01T10:34:57Z)
• MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model [35.32967411186489]
  MotionDiffuseは拡散モデルに基づくテキスト駆動モーション生成フレームワークである。 複雑なデータ分散をモデル化し、鮮やかなモーションシーケンスを生成するのに優れています。 体の部分のきめ細かい指示に反応し、時間経過したテキストプロンプトで任意の長さのモーション合成を行う。
  論文  参考訳（メタデータ） (2022-08-31T17:58:54Z)
• TEMOS: Generating diverse human motions from textual descriptions [53.85978336198444]
  テキスト記述から多種多様な人間の動作を生成するという課題に対処する。 本研究では,人間の動作データを用いた可変オートエンコーダ(VAE)トレーニングを利用したテキスト条件生成モデルTEMOSを提案する。 TEMOSフレームワークは,従来のような骨格に基づくアニメーションと,より表現力のあるSMPLボディモーションの両方を生成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T14:53:06Z)
• Modeling Motion with Multi-Modal Features for Text-Based Video Segmentation [56.41614987789537]
  テキストベースのビデオセグメンテーションは、対象のオブジェクトを記述文に基づいてビデオに分割することを目的としている。 本研究では, 正確なセグメンテーションを実現するために, 外観, 動き, 言語的特徴を融合, 整合させる手法を提案する。
  論文  参考訳（メタデータ） (2022-04-06T02:42:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。