論文の概要: Component attention network for multimodal dance improvisation recognition

• arxiv url: http://arxiv.org/abs/2310.05938v1
• Date: Thu, 24 Aug 2023 15:04:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 04:04:12.574172
• Title: Component attention network for multimodal dance improvisation recognition
• Title（参考訳）: マルチモーダルダンス即興認識のためのコンポーネントアテンションネットワーク
• Authors: Jia Fu, Jiarui Tan, Wenjie Yin, Sepideh Pashami, M{\aa}rten Bj\"orkman
• Abstract要約: 本稿では,ダンス即興の文脈における人間動作認識のためのマルチモーダル融合法の適用と性能について検討する。 1) CANetとのフィーチャ融合,2) CANetとモデル融合,3) グラフ畳み込みネットワーク(GCN) ,3) 投票戦略による後期融合の3つのレベルにおけるマルチモーダル融合のためのアテンションベースモデルであるコンポーネントアテンションネットワーク(CANet)を提案する。
• 参考スコア（独自算出の注目度）: 4.706373333495905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dance improvisation is an active research topic in the arts. Motion analysis of improvised dance can be challenging due to its unique dynamics. Data-driven dance motion analysis, including recognition and generation, is often limited to skeletal data. However, data of other modalities, such as audio, can be recorded and benefit downstream tasks. This paper explores the application and performance of multimodal fusion methods for human motion recognition in the context of dance improvisation. We propose an attention-based model, component attention network (CANet), for multimodal fusion on three levels: 1) feature fusion with CANet, 2) model fusion with CANet and graph convolutional network (GCN), and 3) late fusion with a voting strategy. We conduct thorough experiments to analyze the impact of each modality in different fusion methods and distinguish critical temporal or component features. We show that our proposed model outperforms the two baseline methods, demonstrating its potential for analyzing improvisation in dance.
• Abstract（参考訳）: ダンス即興は芸術において活発な研究テーマである。 即興ダンスの動作解析は、その独特のダイナミクスのために困難である。 データ駆動ダンスモーション分析(認識と生成を含む)は骨格データに限られることが多い。 しかし、オーディオなどの他のモダリティのデータを記録し、下流のタスクに役立てることができる。 本稿では,ダンス即興の文脈における人間動作認識のためのマルチモーダル融合法の適用と性能について検討する。 本稿では,マルチモーダル融合のための注意ベースモデルであるコンポーネント・アテンション・ネットワーク(canet)を提案する。 1) CANetとのフィーチャ融合 2)canetおよびgraph convolutional network(gcn)を用いたモデル融合、及び 3)投票戦略との後期融合。 異なる融合法における各モードの影響を分析し,臨界時間的特徴と成分的特徴を識別するために,徹底的な実験を行った。 提案手法は2つのベースライン法を上回っており,ダンスにおける即興分析の可能性を示している。

関連論文リスト

• Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
  舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。 これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。 本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
  論文  参考訳（メタデータ） (2024-03-27T17:57:02Z)
• LM2D: Lyrics- and Music-Driven Dance Synthesis [28.884929875333846]
  LM2Dは、音楽と歌詞の両方で、ひとつの拡散生成ステップでダンスコンディションを作成するように設計されている。 ポーズ推定技術を用いて,音楽と歌詞の両方を包含する最初の3次元ダンスモーションデータセットを提案する。 その結果、LM2Dは歌詞と音楽の両方にマッチするリアルで多様なダンスを制作できることを示した。
  論文  参考訳（メタデータ） (2024-03-14T13:59:04Z)
• TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
  テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。 本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
  論文  参考訳（メタデータ） (2023-04-05T12:58:33Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)
• Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-based Action Recognition [49.163326827954656]
  骨格に基づく行動分類のための新しい多言語時空間グラフネットワークを提案する。 2つの枝の枝からなるデュアルヘッドグラフネットワークを開発し、少なくとも2つの時間分解能を抽出する。 3つの大規模データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-08-10T09:25:07Z)
• Transflower: probabilistic autoregressive dance generation with multimodal attention [31.308435764603658]
  本稿では,従来のポーズに条件付き正規化フローと音楽文脈をモデル化した,確率的自己回帰型アーキテクチャを提案する。 第2に,プロとカジュアルの両方のダンサーを含む,さまざまなモーションキャプチャ技術で得られた,現在最大の3Dダンスモーションデータセットを紹介する。
  論文  参考訳（メタデータ） (2021-06-25T20:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。