論文の概要: At Your Fingertips: Extracting Piano Fingering Instructions from Videos
- arxiv url: http://arxiv.org/abs/2303.03745v1
- Date: Tue, 7 Mar 2023 09:09:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-08 15:58:45.837269
- Title: At Your Fingertips: Extracting Piano Fingering Instructions from Videos
- Title（参考訳）: 指先で:ビデオからピアノの指の指示を取り出す
- Authors: Amit Moryossef, Yanai Elazar, and Yoav Goldberg
- Abstract要約: ビデオから指情報を自動的に抽出するAIタスクについて検討する。
ディープラーニングモジュールの組み合わせを用いて,このタスクを高精度に実行する方法を示す。
結果、90本の動画でシステムを実行し、高品質のピアノ指で150Kの音符を入力します。
- 参考スコア（独自算出の注目度）: 45.643494669796866
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Piano fingering -- knowing which finger to use to play each note in a musical
piece, is a hard and important skill to master when learning to play the piano.
While some sheet music is available with expert-annotated fingering
information, most pieces lack this information, and people often resort to
learning the fingering from demonstrations in online videos. We consider the AI
task of automating the extraction of fingering information from videos. This is
a non-trivial task as fingers are often occluded by other fingers, and it is
often not clear from the video which of the keys were pressed, requiring the
synchronization of hand position information and knowledge about the notes that
were played. We show how to perform this task with high-accuracy using a
combination of deep-learning modules, including a GAN-based approach for
fine-tuning on out-of-domain data. We extract the fingering information with an
f1 score of 97\%. We run the resulting system on 90 videos, resulting in
high-quality piano fingering information of 150K notes, the largest available
dataset of piano-fingering to date.
- Abstract（参考訳）: ピアノフィンガーグ -- どの指を使って各音符を楽器で弾くかを知ることは、ピアノを弾くことを学ぶ際に習得するのが困難で重要なスキルである。
一部の楽譜には、専門家が記したフィンガーリング情報があるが、ほとんどの楽譜にはそのような情報がなく、しばしばオンラインビデオのデモンストレーションからフィンガーリングを学ぶことを好む。
ビデオから指情報を自動的に抽出するAIタスクについて検討する。
これは、指が他の指によって隠されている場合が多いため、手の位置情報と演奏された音符に関する知識の同期を必要とするため、どのキーが押されたかビデオから明らかでないことが多い。
我々は、ドメイン外データの微調整のためのganベースのアプローチを含む、ディープラーニングモジュールを組み合わせることで、このタスクを高精度で実行する方法を示す。
指の情報をf1スコア97\%で抽出する。
結果、90本のビデオでシステムを実行し、これまでで最大のピアノフィンガーリングデータセットである150万音の高品質なピアノフィンガー情報を得ることができた。
関連論文リスト
- PianoMotion10M: Dataset and Benchmark for Hand Motion Generation in Piano Performance [15.21347897534943]
ピアノ演奏のための手の動きと指の動きをガイドするピアノハンド動作生成ベンチマークを構築した。
この目的のために,1000万個の手ポーズを持つ鳥眼ビューから116時間のピアノ演奏ビデオからなる注釈付きデータセットPianoMotion10Mを収集した。
論文 参考訳（メタデータ） (2024-06-13T17:05:23Z) - Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。
以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
論文 参考訳（メタデータ） (2024-04-25T17:59:41Z) - Modeling Bends in Popular Music Guitar Tablatures [49.64902130083662]
タブラチュア表記はポピュラー音楽で広く使われ、ギター音楽のコンテンツの書き起こしや共有に使われている。
本論文は,音符のピッチを段階的にシフトできる屈曲に着目し,離散的な指板の物理的制限を回避する。
ポピュラー音楽の932個のリードギタータブラのコーパス上で実験を行い、決定木がF1スコア0.71と限られた偽陽性予測量で屈曲の発生をうまく予測することを示す。
論文 参考訳（メタデータ） (2023-08-22T07:50:58Z) - Video-Mined Task Graphs for Keystep Recognition in Instructional Videos [71.16703750980143]
手続き的活動理解には、より広いタスクの観点から人間の行動を知覚する必要がある。
本稿では,ハウツービデオからタスクグラフを自動的に発見して,人々がキーステップを実行する傾向を確率論的に表現することを提案する。
より信頼性の高いゼロショットキーステップのローカライゼーションとビデオ表現学習の改善。
論文 参考訳（メタデータ） (2023-07-17T18:19:36Z) - Visual motion analysis of the player's finger [3.299672391663527]
この研究は、ビデオシーケンスからキーボード奏者の3つの調律で指の動きを抽出することに関するものである。
この問題の関連性にはいくつかの側面があり、実際、指の動きの抽出はキーストロークの効率と個々の関節の寄与を計算するために用いられる。
論文 参考訳（メタデータ） (2023-02-24T10:14:13Z) - Towards Learning to Play Piano with Dexterous Hands and Touch [79.48656721563795]
そこで我々は,エージェントが機械可読音楽から直接学習して,模擬ピアノで器用な手でピアノを弾く方法を示した。
我々は、タッチ強化された報酬と、新しいタスクのカリキュラムを使用することで、これを実現する。
論文 参考訳（メタデータ） (2021-06-03T17:59:31Z) - Music Gesture for Visual Sound Separation [121.36275456396075]
ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。
まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
論文 参考訳（メタデータ） (2020-04-20T17:53:46Z) - Machine Learning for a Music Glove Instrument [0.0]
感圧性、フレキシブル、IMUセンサーを備えた音楽グローブ楽器は、電気ピアノで音符シーケンスを学習するために訓練される。
グローブは任意の表面に使われ、手の動きに最も近い音符列を生成する。
論文 参考訳（メタデータ） (2020-01-27T01:08:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。