論文の概要: Temporally Guided Music-to-Body-Movement Generation

• arxiv url: http://arxiv.org/abs/2009.08015v1
• Date: Thu, 17 Sep 2020 02:10:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 12:16:07.590452
• Title: Temporally Guided Music-to-Body-Movement Generation
• Title（参考訳）: テンポラリガイドによる楽曲間移動生成
• Authors: Hsuan-Kai Kao and Li Su
• Abstract要約: 本稿では,音楽音声から仮想バイオリニストの3次元骨格運動を生成するニューラルネットワークモデルを提案する。 提案モデルでは,エンコーダ・デコーダアーキテクチャと,身体運動シーケンスの複雑なダイナミクスをモデル化するための自己保持機構を組み込んだ。
• 参考スコア（独自算出の注目度）: 9.453815223069208
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper presents a neural network model to generate virtual violinist's 3-D skeleton movements from music audio. Improved from the conventional recurrent neural network models for generating 2-D skeleton data in previous works, the proposed model incorporates an encoder-decoder architecture, as well as the self-attention mechanism to model the complicated dynamics in body movement sequences. To facilitate the optimization of self-attention model, beat tracking is applied to determine effective sizes and boundaries of the training examples. The decoder is accompanied with a refining network and a bowing attack inference mechanism to emphasize the right-hand behavior and bowing attack timing. Both objective and subjective evaluations reveal that the proposed model outperforms the state-of-the-art methods. To the best of our knowledge, this work represents the first attempt to generate 3-D violinists' body movements considering key features in musical body movement.
• Abstract（参考訳）: 本稿では,音楽音声から仮想バイオリニストの3次元スケルトン運動を生成するニューラルネットワークモデルを提案する。 従来の2次元スケルトンデータを生成するリカレントニューラルネットワークモデルから改良されたモデルでは,エンコーダデコーダアーキテクチャと,身体運動シーケンスの複雑なダイナミクスをモデル化するための自己保持機構が組み込まれている。 自己注意モデルの最適化を容易にするため、トレーニング例の有効サイズと境界を決定するためにビートトラッキングを適用した。 デコーダは、右利き動作とボウ攻撃タイミングを強調するために、精製ネットワークとボウ攻撃推論機構を備える。 客観評価と主観評価の両方により,提案モデルが最先端の手法より優れていることが明らかになった。 我々の知る限り、この作品は音楽の身体運動における重要な特徴を考慮した3Dバイオリニストの身体運動を初めて生成する試みである。

関連論文リスト

• Past Movements-Guided Motion Representation Learning for Human Motion Prediction [0.0]
  動作表現の強化を目的とした自己教師型学習フレームワークを提案する。 フレームワークは、まず、過去のシーケンスの自己再構成を通じてネットワークを事前訓練し、過去の動きに基づく将来のシーケンスのガイド付き再構築を行う。 提案手法は,Human3.6,3DPW,AMASSデータセットの平均予測誤差を8.8%削減する。
  論文  参考訳（メタデータ） (2024-08-04T17:00:37Z)
• A Survey of Music Generation in the Context of Interaction [3.6522809408725223]
  機械学習は、メロディーとポリフォニックの両方の曲の作曲と生成に成功している。 これらのモデルのほとんどは、ライブインタラクションによる人間と機械の共創には適していない。
  論文  参考訳（メタデータ） (2024-02-23T12:41:44Z)
• Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion Modeling [83.76377808476039]
  本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。 動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。 混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
  論文  参考訳（メタデータ） (2023-08-18T16:41:57Z)
• NAP: Neural 3D Articulation Prior [31.875925637190328]
  本研究では,3次元合成対象モデルを合成する最初の3次元深部生成モデルであるNeural 3D Articulation Prior (NAP)を提案する。 そこで我々はまず,新しい調音木/グラフパラメタライゼーションを設計し,この表現に対して拡散減衰確率モデルを適用した。 分布が互いに影響を及ぼすような幾何構造と運動構造の両方を捉えるために,逆拡散過程を学習するためのグラフアテンション認知ネットワークを設計する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:35Z)
• Stereo Neural Vernier Caliper [57.187088191829886]
  学習に基づくステレオ3Dオブジェクト検出のための新しいオブジェクト中心フレームワークを提案する。 初期3次元立方体推定値から改良された更新を予測する方法の問題に対処する。 提案手法は,KITTIベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-21T14:36:07Z)
• MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
  そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。 モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
  論文  参考訳（メタデータ） (2021-12-19T07:52:05Z)
• Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
  本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。 提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
  論文  参考訳（メタデータ） (2021-08-30T19:45:07Z)
• Score-informed Networks for Music Performance Assessment [64.12728872707446]
  MPAモデルにスコア情報を組み込んだディープニューラルネットワークに基づく手法はまだ研究されていない。 スコアインフォームド性能評価が可能な3つのモデルを提案する。
  論文  参考訳（メタデータ） (2020-08-01T07:46:24Z)
• Speech2Video Synthesis with 3D Skeleton Regularization and Expressive Body Poses [36.00309828380724]
  本稿では,与えられた音声を特定の人物の写実的な発話ビデオに変換する新しい手法を提案する。 我々は、リカレントニューラルネットワーク(RNN)を用いて、まず音声シーケンスから3Dスケルトンの動きを生成する。 骨格運動を現実的で表現力のあるものにするために,人工的な3次元人骨の知識と個人音声の象徴的ジェスチャーの学習辞書を生成プロセスに組み込む。
  論文  参考訳（メタデータ） (2020-07-17T19:30:14Z)
• Automated and Formal Synthesis of Neural Barrier Certificates for Dynamical Models [70.70479436076238]
  バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。 このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。 その結果,音のBCsを最大2桁の速度で合成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T07:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。