論文の概要: VioTech: Frame-Level Violin Playing Technique Detection with Multi-Scale Mixture-of-Experts
- arxiv url: http://arxiv.org/abs/2611.02680v1
- Date: Mon, 02 Nov 2026 07:36:03 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:25:33.929634
- Title: VioTech: Frame-Level Violin Playing Technique Detection with Multi-Scale Mixture-of-Experts
- Title(参考訳): VioTech:マルチスケールミキサーを用いたフレームレベルヴァイオリン演奏検出
- Abstract要約: VioTechはフレームレベルのバイオリンテクニック検出フレームワークで、明示的なノートセグメンテーションなしで10ミリ秒の解像度でテクニックを直接予測する。
また、実際のソロ演奏記録から構築したヴァイオリン演奏技法を手動で注釈付けした最初のデータセットであるVioTech120についても紹介する。
- 参考スコア(独自算出の注目度): 5.464503700110041
- License:
- Abstract: Playing technique is crucial for expressive violin performance, yet few violin technique detection models exist. Current systems mainly rely on note-level pipelines that first estimate note boundaries and then classify techniques. This is especially problematic for bowed string instruments such as the violin, where soft onsets and continuous bow-string interaction render note segmentation unreliable. Here, we propose VioTech, a frame-level violin technique detection framework that predicts techniques directly at 10 ms resolution without explicit note segmentation. To handle the large temporal-scale variation among techniques, VioTech combines a frozen MERT encoder with a multi-scale Mixture-of-Experts (MoE) architecture and task-specific routing for tonal, articulation, and legato-related predictions. We also introduce VioTech120, the first manually annotated dataset of violin playing techniques constructed from real solo performance recordings, as well as an accompanying note-labeling user interface. Results demonstrate that VioTech achieved consistent improvements over prior methods and significantly enhanced cross-dataset generalization, establishing a new state-of-the-art in violin technique-aware transcription.
- Abstract(参考訳): 演奏技術は表現力のあるヴァイオリン演奏には不可欠であるが、ヴァイオリン検出モデルはほとんど存在しない。
現在のシステムは、主にノートレベルのパイプラインに依存しており、最初にノート境界を推定し、次にテクニックを分類する。
これはヴァイオリンのような弦楽器では特に問題であり、柔らかいオンセットと連続的な弦の相互作用は音節のセグメンテーションを信頼できない。
本稿では,VioTechを提案する。VioTechは,明示的なノートセグメンテーションを伴わずに,10msの解像度で直接テクニックを予測する,フレームレベルのヴァイオリンテクニック検出フレームワークである。
大規模な時間的変動に対応するため、VioTechは凍ったMERTエンコーダとマルチスケールのMixture-of-Experts (MoE)アーキテクチャと、調音、調音、レガート関連予測のためのタスク固有のルーティングを組み合わせた。
また、実際のソロ演奏記録から構築されたヴァイオリン演奏技法を手動で注釈付けした最初のデータセットであるVioTech120と、それに付随するノートラベリングユーザインタフェースについても紹介する。
その結果、VioTechは従来の手法よりも一貫した改善を達成し、クロスデータセットの一般化を著しく強化し、ヴァイオリン技術に新たな最先端の転写技術を確立した。
関連論文リスト
- Pose-Aware Multimodal Automatic Tagging for Greek Traditional Music [81.96990106395953]
本研究では, ダンサーポーズの使用が, 音声以外のギリシャ伝統音楽の自動タグ付けに補完的な情報を提供するかどうかを考察する。
舞踊映像から一次ダンサー骨格配列を抽出する自動パイプラインを提案する。
複数の融合戦略を用いて、一様系、全双モード結合系、および三次系を比較した。
論文 参考訳(メタデータ) (2026-09-22T21:53:06Z) - Full-Page Optical Music Recognition of Handwritten Monophonic Scores [9.83963562042336]
全ページのエンドツーエンドの光学音楽認識は、すべての音楽ページを直接記号表記に書き起こそうとしている。
近年のTransformerベースのアーキテクチャは,事前学習のための大規模合成データに頼って,タイプセットスコアの大幅な性能向上を実現している。
タイプセットと手書きの両スタイルで視覚的にコヒーレントな全ページスコアを生成することができるジェネレータを提案する。
論文 参考訳(メタデータ) (2026-09-04T18:56:03Z) - FIGMA: Towards FIne-Grained Music retrievAl [65.98380295254817]
自然言語記述による音楽の検索はCLAPのような対照的な音声テキストモデルで改善されているが、現在のシステムはいまだに大まかなセマンティッククエリに限られている。
この制限は、長いキャプションで訓練されているにもかかわらず、CLAPベースのモデルは、最初の数個のトークンのみを効果的に活用する。
本研究では,グローバルな音声テキストアライメントとフレームレベルのトークンアライメントを共同で最適化することで,この制限に対処するマルチビューコントラストアーキテクチャであるFIGMAを提案する。
論文 参考訳(メタデータ) (2026-06-04T18:05:39Z) - VioPTT: Violin Technique-Aware Transcription from Synthetic Data Augmentation [6.024482963060964]
VioPTT (Violin Playing Technique-aware Transcription) は、ヴァイオリンの演奏技法を直接書き起こし、ピッチのオンセットとオフセットを行う軽量なエンド・ツー・エンドのモデルである。
我々は、手動でラベル付けされたアノテーションの必要性を回避するために、新しい高品質な合成ヴァイオリン演奏技術データセットMOSA-VPTをリリースした。
論文 参考訳(メタデータ) (2025-09-28T09:10:17Z) - Two Web Toolkits for Multimodal Piano Performance Dataset Acquisition and Fingering Annotation [56.318475235705954]
2つのグラフィカルユーザインタフェース(GUI)からなる統合Webツールキットを提案する。
PiaRecは、オーディオ、ビデオ、MIDI、パフォーマンスメタデータの同時取得をサポートする。
ASDFは、視覚データからパフォーマーフィンガーの効率的なアノテーションを可能にする。
論文 参考訳(メタデータ) (2025-09-18T17:59:24Z) - Frame-Level Multi-Label Playing Technique Detection Using Multi-Scale
Network and Self-Attention Mechanism [6.2680838592065715]
フレームレベルのマルチラベル分類問題を定式化し,それを中国の弦楽器Guzhengに適用する。
異なるIPTの長さが異なるため,マルチスケールネットワークと自己注意を用いた新しい手法を提案する。
提案手法は, IPT検出における有効性を示すとともに, 既存の成果よりも高い性能を示す。
論文 参考訳(メタデータ) (2023-03-23T13:52:42Z) - Patch-level Representation Learning for Self-supervised Vision
Transformers [68.8862419248863]
視覚変換器(ViT)は近年、より優れたアーキテクチャ選択として多くの注目を集めており、様々な視覚タスクにおいて畳み込みネットワークよりも優れています。
これに触発された私たちは、パッチレベルの表現をより良く学習するための、SelfPatchという、シンプルで効果的なビジュアルプリテキストタスクを設計しました。
我々は、既存のSSLメソッドの様々な視覚的タスクに対する性能を大幅に改善できることを実証した。
論文 参考訳(メタデータ) (2022-06-16T08:01:19Z) - A Data-Driven Approach to Violin Making [7.887707903851569]
バイオリントップのモーダル周波数は幾何学的パラメータから予測できることを示す。
本稿では,材料と幾何学的パラメータを考慮したプレートチューニングの予測ツールを提案する。
論文 参考訳(メタデータ) (2021-02-03T00:42:08Z) - Music Gesture for Visual Sound Separation [121.36275456396075]
ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。
まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
論文 参考訳(メタデータ) (2020-04-20T17:53:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。