論文の概要: KeyWise: Efficient Video-Only Piano Transcription with a Lightweight Per-Key Architecture

• arxiv url: http://arxiv.org/abs/2611.04476v1
• Date: Tue, 03 Nov 2026 08:08:59 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:31:20.170669
• Title: KeyWise: Efficient Video-Only Piano Transcription with a Lightweight Per-Key Architecture
• Title（参考訳）: KeyWise: 軽量な1キーアーキテクチャによる効率的なビデオオンリーピアノ転写
• Abstract要約: KeyWiseは、キーボードの既知の幾何学を学習する代わりに活用する、軽量なキー単位のアーキテクチャである。 PianoVAMでは、KeyWiseは最先端のV2N(50msで95.0%、94.7%、100msで97.8%、97.0%、100msで97.0%)のオンセット精度に達する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Audio-based piano transcription is hampered by the sustain pedal and by noisy or missing soundtracks, problems that video-only transcription avoids, since a top-view video shows directly when each key is pressed and released. Most visual transcription networks, however, describe the whole keyboard with one global feature vector and must learn where each key is. In this paper, we propose KeyWise, a lightweight per-key architecture that exploits the known geometry of the keyboard instead of learning it. The rectified keyboard is divided into 88 equal tiles that serve as regions of interest (ROIs), and one small recurrent network, shared by all keys, follows each key over time. On PianoVAM, KeyWise reaches the onset accuracy of the state-of-the-art V2N (95.0% vs. 94.7% onset F1 at 50 ms and 97.8% vs. 97.0% at 100 ms) with 1.3 M instead of 28.2 M parameters, and it runs 4.7 times faster on the same GPU. At 100 ms, it is also significantly more accurate when the key releases (97.0% vs. 95.5% F1) or the velocities (89.4% vs. 84.5% F1) must be correct as well. On PianoYT, KeyWise pre-trained on PianoVAM reaches 69.4% onset F1 at 100 ms, comparable to the best published result, although it needs fine-tuning for new recording conditions.
• Abstract（参考訳）: 音声ベースのピアノの書き起こしは、持続的なペダルやノイズや音声トラックの欠如によって妨げられ、ビデオのみの書き起こしが避けられる。 しかし、ほとんどの視覚的書き起こしネットワークは、キーボード全体を1つのグローバルな特徴ベクトルで記述し、各キーがどこにあるかを知る必要がある。 本稿では、キーボードの既知の形状を学習する代わりに活用する軽量なキー単位アーキテクチャであるKeyWiseを提案する。 修正されたキーボードは、興味のある領域(ROI)として機能する88の等しいタイルに分割され、すべてのキーで共有される1つの小さなリカレントネットワークは、時間とともに各キーに従う。 PianoVAMでは、KeyWiseは最先端のV2N(50msで95.0%、94.7%、100msで97.8%、97.0%、100msで97.0%)のオンセット精度に達する。 100ミリ秒では、キーリリース (97.0% vs. 95.5% F1) や速度 (89.4% vs. 84.5% F1) も正確である。 ピアノYTでは、ピアノVAMで事前訓練されたKeyWiseは、100ミリ秒で69.4%のオンセットF1に達する。

関連論文リスト

• PianoBench: Evaluating Musical Perception and Reasoning in Language Models [8.63048635517994]
  PianoBenchは、コングルート音響およびシンボリック入力表現をまたいだ演奏を推論した言語モデルをタスクする。 オープンウェイトなオーディオ言語モデルは、ピアノベンチで少なくとも52.8%の精度で達成され、オーディオなし制御でその精度をわずかに上回っている。 テストでは、教育ビデオは音楽のマルチモーダル監督の見落とされがちな源であることを示唆している。
  論文  参考訳（メタデータ） (2026-11-02T19:11:56Z)
• DF-PALM: Dynamic Fusion Prompt Learning for Audio--Language Models [57.25672896669361]
  限られたラベル付きデータと可変音響イベントを区別するために、音声モデルを必要とする音声分類は少ない。 Palmの主な定式化は、事前訓練されたエンコーダを変更することなく、エンコードされたクラス表現に適応するが、そのクラス表現は入出力に依存しないままである。 本稿では,音声条件付きクラス表現と非対称なクロスアテンションを組み合わせた動的特徴空間プロンプトフレームワークDF-PALMを紹介する。
  論文  参考訳（メタデータ） (2026-10-18T00:02:04Z)
• Agogic: Performance-Timed Music Tokens for LLM-Native Text-to-Symbolic-Music Generation [27.00404998707037]
  テキスト・ツー・ミュージック言語モデルにおける音楽のトークン化の効果を計測する。 7つのトークン化で表現を交換し、テクスチャメトリクスを各表現のモデルフリー天井に固定します。 私たちがリリースしたパフォーマンスレゾリューションストリームである PMT は 0.8B で FMD 159 に到達し、ビートグリッドは 272-286 で、ビートグリッドは 1.7-1.8x で、他の場所では 2.8 倍、非オーバーラップブートストラップ CI で 0.8B のパフォーマンスレゾリューションモデルは 27B ビートグリッドを上回ります。
  論文  参考訳（メタデータ） (2026-08-04T17:56:49Z)
• Multi-Task Multi-Frame Visual Piano Transcription [57.32059378506694]
  本稿では,最初の完全なVisual Piano TranscriptionシステムであるV2N(Video to Notes)を紹介する。 共有時間バックボーンは、タスク固有のヘッドをオンセット、オフセット、キーホールド、ベロシティに供給する。 アブレーションは、マルチタスクの監視により、オフセット精度を改善しつつ、オフセットとベロシティの予測が可能になることを示している。
  論文  参考訳（メタデータ） (2026-08-04T10:11:45Z)
• PianoVAM: A Multimodal Piano Performance Dataset [56.318475235705954]
  PianoVAMは、ビデオ、オーディオ、MIDI、手のランドマーク、指のラベル、リッチメタデータを含む包括的なピアノパフォーマンスデータセットである。 データセットはディクラヴィエピアノを使用して録音され、アマチュアピアニストの日々の練習セッション中にオーディオとMIDIをキャプチャした。 事前訓練されたポーズ推定モデルと半自動指先アノテーションアルゴリズムを用いて,手指のランドマークと指先ラベルを抽出した。
  論文  参考訳（メタデータ） (2025-09-10T17:35:58Z)
• PianoMotion10M: Dataset and Benchmark for Hand Motion Generation in Piano Performance [15.21347897534943]
  ピアノ演奏のための手の動きと指の動きをガイドするピアノハンド動作生成ベンチマークを構築した。 この目的のために,1000万個の手ポーズを持つ鳥眼ビューから116時間のピアノ演奏ビデオからなる注釈付きデータセットPianoMotion10Mを収集した。
  論文  参考訳（メタデータ） (2024-06-13T17:05:23Z)
• VideoMAE V2: Scaling Video Masked Autoencoders with Dual Masking [57.552798046137646]
  Video masked autoencoder(ビデオマスクオートエンコーダ)は、ビデオ基礎モデルを構築するための、スケーラブルで汎用的な自己監督型プレトレーナーである。 我々は10億のパラメータを持つビデオViTモデルのトレーニングに成功した。
  論文  参考訳（メタデータ） (2023-03-29T14:28:41Z)
• At Your Fingertips: Extracting Piano Fingering Instructions from Videos [45.643494669796866]
  ビデオから指情報を自動的に抽出するAIタスクについて検討する。 ディープラーニングモジュールの組み合わせを用いて,このタスクを高精度に実行する方法を示す。 結果、90本の動画でシステムを実行し、高品質のピアノ指で150Kの音符を入力します。
  論文  参考訳（メタデータ） (2023-03-07T09:09:13Z)
• TypeNet: Deep Learning Keystroke Biometrics [77.80092630558305]
  TypeNetは、アイデンティティ毎に適度な数のキーストロークでトレーニングされた、リカレントニューラルネットワークである。 5つのギャラリーシーケンスと長さ50のテストシーケンスにより、TypeNetは最先端のキーストロークバイオメトリック認証性能を実現します。 実験では,最大10,000人の被験者による誤りの程度の増加を実証し,インターネット規模でのTypeNetの運用の可能性を示した。
  論文  参考訳（メタデータ） (2021-01-14T12:49:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。