論文の概要: PianoMotion10M: Dataset and Benchmark for Hand Motion Generation in Piano Performance
- arxiv url: http://arxiv.org/abs/2406.09326v1
- Date: Thu, 13 Jun 2024 17:05:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 16:35:35.071042
- Title: PianoMotion10M: Dataset and Benchmark for Hand Motion Generation in Piano Performance
- Title（参考訳）: PianoMotion10M: ピアノ演奏における手の動き生成のためのデータセットとベンチマーク
- Authors: Qijun Gan, Song Wang, Shengtao Wu, Jianke Zhu,
- Abstract要約: ピアノ演奏のための手の動きと指の動きをガイドするピアノハンド動作生成ベンチマークを構築した。
この目的のために,1000万個の手ポーズを持つ鳥眼ビューから116時間のピアノ演奏ビデオからなる注釈付きデータセットPianoMotion10Mを収集した。
- 参考スコア（独自算出の注目度）: 15.21347897534943
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recently, artificial intelligence techniques for education have been received increasing attentions, while it still remains an open problem to design the effective music instrument instructing systems. Although key presses can be directly derived from sheet music, the transitional movements among key presses require more extensive guidance in piano performance. In this work, we construct a piano-hand motion generation benchmark to guide hand movements and fingerings for piano playing. To this end, we collect an annotated dataset, PianoMotion10M, consisting of 116 hours of piano playing videos from a bird's-eye view with 10 million annotated hand poses. We also introduce a powerful baseline model that generates hand motions from piano audios through a position predictor and a position-guided gesture generator. Furthermore, a series of evaluation metrics are designed to assess the performance of the baseline model, including motion similarity, smoothness, positional accuracy of left and right hands, and overall fidelity of movement distribution. Despite that piano key presses with respect to music scores or audios are already accessible, PianoMotion10M aims to provide guidance on piano fingering for instruction purposes. The dataset and source code can be accessed at https://agnjason.github.io/PianoMotion-page.
- Abstract（参考訳）: 近年、教育のための人工知能技術が注目されている一方、効果的な楽器教育システムの設計には依然として未解決の問題が残っている。
キープレスは楽譜から直接引き出すことができるが、キープレス間の遷移運動はピアノ演奏においてより広範な指導を必要とする。
本研究では,ピアノ演奏のための手の動きと指の動きをガイドするピアノハンド動作生成ベンチマークを構築した。
この目的のために,1000万個の手ポーズを持つ鳥眼ビューから116時間のピアノ演奏ビデオからなる注釈付きデータセットPianoMotion10Mを収集した。
また,位置予測器と位置誘導ジェスチャジェネレータによってピアノオーディオから手の動きを生成する強力なベースラインモデルを導入する。
さらに, 運動類似性, 滑らか性, 左右手の位置精度, 運動分布の全体的忠実度など, ベースラインモデルの性能を評価するために, 一連の評価指標を設計した。
PianoMotion10Mは、ピアノの鍵盤を音楽の楽譜やオーディオに当てはめているが、ピアノの指で指導するためのガイダンスを提供する。
データセットとソースコードはhttps://agnjason.github.io/PianoMotion-pageでアクセスできる。
関連論文リスト
- FürElise: Capturing and Physically Synthesizing Hand Motions of Piano Performance [15.909113091360206]
ピアノ演奏を正確に再現する洗練された手の動きモデルは、キャラクターアニメーション、エンボディAI、バイオメカニクス、VR/ARに幅広い応用がある。
本稿では,153曲のクラシック音楽を演奏する15人のエリートレベルのピアニストによる,約10時間の3D手の動きとオーディオを含む,第1世代の大規模データセットを構築する。
論文 参考訳（メタデータ） (2024-10-08T08:21:05Z) - RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands [57.64308229980045]
ロボットピアノ100万のデータセットには,100万回以上の軌跡の動作データをバイマニュアルで演奏するロボットピアノが組み込まれている。
指の配置を最適な移動問題として定式化し、大量の未収録曲の自動アノテーションを可能にする。
既存の模倣学習手法のベンチマークでは、RP1Mを活用することにより、最先端のロボットピアノ演奏性能に達することが示されている。
論文 参考訳（メタデータ） (2024-08-20T17:56:52Z) - Modeling Bends in Popular Music Guitar Tablatures [49.64902130083662]
タブラチュア表記はポピュラー音楽で広く使われ、ギター音楽のコンテンツの書き起こしや共有に使われている。
本論文は,音符のピッチを段階的にシフトできる屈曲に着目し,離散的な指板の物理的制限を回避する。
ポピュラー音楽の932個のリードギタータブラのコーパス上で実験を行い、決定木がF1スコア0.71と限られた偽陽性予測量で屈曲の発生をうまく予測することを示す。
論文 参考訳（メタデータ） (2023-08-22T07:50:58Z) - MARBLE: Music Audio Representation Benchmark for Universal Evaluation [79.25065218663458]
我々は,UniversaL Evaluation(MARBLE)のための音楽音響表現ベンチマークを紹介する。
音響、パフォーマンス、スコア、ハイレベルな記述を含む4つの階層レベルを持つ包括的分類を定義することで、様々な音楽情報検索(MIR)タスクのベンチマークを提供することを目的としている。
次に、8つの公開データセット上の14のタスクに基づいて統一されたプロトコルを構築し、ベースラインとして音楽録音で開発されたすべてのオープンソース事前学習モデルの表現を公平かつ標準的に評価する。
論文 参考訳（メタデータ） (2023-06-18T12:56:46Z) - At Your Fingertips: Extracting Piano Fingering Instructions from Videos [45.643494669796866]
ビデオから指情報を自動的に抽出するAIタスクについて検討する。
ディープラーニングモジュールの組み合わせを用いて,このタスクを高精度に実行する方法を示す。
結果、90本の動画でシステムを実行し、高品質のピアノ指で150Kの音符を入力します。
論文 参考訳（メタデータ） (2023-03-07T09:09:13Z) - Visual motion analysis of the player's finger [3.299672391663527]
この研究は、ビデオシーケンスからキーボード奏者の3つの調律で指の動きを抽出することに関するものである。
この問題の関連性にはいくつかの側面があり、実際、指の動きの抽出はキーストロークの効率と個々の関節の寄与を計算するために用いられる。
論文 参考訳（メタデータ） (2023-02-24T10:14:13Z) - Towards Learning to Play Piano with Dexterous Hands and Touch [79.48656721563795]
そこで我々は,エージェントが機械可読音楽から直接学習して,模擬ピアノで器用な手でピアノを弾く方法を示した。
我々は、タッチ強化された報酬と、新しいタスクのカリキュラムを使用することで、これを実現する。
論文 参考訳（メタデータ） (2021-06-03T17:59:31Z) - Music Gesture for Visual Sound Separation [121.36275456396075]
ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。
まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
論文 参考訳（メタデータ） (2020-04-20T17:53:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。