論文の概要: Timbre-Adaptive Transcription: A Lightweight Architecture with Associative Memory for Dynamic Instrument Separation

• arxiv url: http://arxiv.org/abs/2509.12712v1
• Date: Tue, 16 Sep 2025 06:05:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.915485
• Title: Timbre-Adaptive Transcription: A Lightweight Architecture with Associative Memory for Dynamic Instrument Separation
• Title（参考訳）: Timbre-Adaptive Transcription:動的機器分離のための連想記憶付き軽量アーキテクチャ
• Authors: Ruigang Li, Yongxu Zhu,
• Abstract要約: 音色に依存しないバックボーンは、同等のモデルのパラメータのわずか半分で最先端のパフォーマンスを達成する。 新たな連想記憶機構は、人間の聴覚認知を模倣し、目に見えない音色を動的に符号化する。
• 参考スコア（独自算出の注目度）: 8.166820420083175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing multi-timbre transcription models struggle with generalization beyond pre-trained instruments and rigid source-count constraints. We address these limitations with a lightweight deep clustering solution featuring: 1) a timbre-agnostic backbone achieving state-of-the-art performance with only half the parameters of comparable models, and 2) a novel associative memory mechanism that mimics human auditory cognition to dynamically encode unseen timbres via attention-based clustering. Our biologically-inspired framework enables adaptive polyphonic separation with minimal training data (12.5 minutes), supported by a new synthetic dataset method offering cost-effective, high-precision multi-timbre generation. Experiments show the timbre-agnostic transcription model outperforms existing models on public benchmarks, while the separation module demonstrates promising timbre discrimination. This work provides an efficient framework for timbre-related music transcription and explores new directions for timbre-aware separation through cognitive-inspired architectures.
• Abstract（参考訳）: 既存のマルチ音色転写モデルは、事前訓練された楽器や厳密な音源数制約を超えた一般化に苦慮している。 これらの制限に、軽量のディープクラスタリングソリューションで対処します。 1)対応するモデルのパラメータの半分しか持たない最先端性能を実現する音色非依存のバックボーン、及び 2)人間の聴覚認知を模倣して、注意に基づくクラスタリングにより、目に見えない音色を動的に符号化する新しい連想記憶機構。 バイオインスパイアされたフレームワークは、低コストで高精度なマルチ音色生成を実現する新しい合成データセット法により、最小トレーニングデータ(12.5分)で適応的なポリフォニック分離を可能にする。 実験では、音色に依存しない転写モデルは、公的なベンチマークで既存のモデルよりも優れており、分離モジュールは有望な音色識別を示す。 この研究は、音色関連音楽の書き起こしのための効率的なフレームワークを提供し、認知に触発されたアーキテクチャを通して音色認識の分離のための新しい方向を探究する。

関連論文リスト

• Modeling Time-Variant Responses of Optical Compressors with Selective State Space Models [0.0]
  本稿では,Selective State Spaceモデルを用いたディープニューラルネットワークを用いた光学ダイナミックレンジ圧縮機のモデル化手法を提案する。 ネットワークを動的に調整するために、機能ワイドリニア変調とゲート付きリニアユニットを統合した洗練された技術が特徴である。 提案アーキテクチャは、ライブオーディオ処理において重要な低レイテンシおよびリアルタイムアプリケーションに適している。
  論文  参考訳（メタデータ） (2024-08-22T17:03:08Z)
• Robust Wake-Up Word Detection by Two-stage Multi-resolution Ensembles [48.208214762257136]
  オーディオストリームのリアルタイム処理のための軽量オンデバイスモデルと、サーバ側の検証モデルである。 プライバシーを保護するため、オーディオ機能は生のオーディオではなくクラウドに送られる。
  論文  参考訳（メタデータ） (2023-10-17T16:22:18Z)
• Timbre-Trap: A Low-Resource Framework for Instrument-Agnostic Music Transcription [19.228155694144995]
  Timbre-Trapは、音楽の書き起こしと音声の再構成を統合する新しいフレームワークである。 我々は1つのオートエンコーダを訓練し、ピッチサリエンスを同時に推定し、複雑なスペクトル係数を再構成する。 このフレームワークは、最先端の楽器に依存しない書き起こし手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-09-27T15:19:05Z)
• High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models [56.00939852727501]
  最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。 非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
  論文  参考訳（メタデータ） (2023-09-27T09:27:03Z)
• Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
  本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。 本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。 主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
  論文  参考訳（メタデータ） (2020-09-06T13:01:06Z)
• Time-Frequency Scattering Accurately Models Auditory Similarities Between Instrumental Playing Techniques [5.923588533979649]
  音色知覚は楽器や演奏技術だけで提供されるものよりも柔軟な分類法で機能することを示す。 本稿では,楽器,ミュート,技法間の類似性のクラスタグラフを復元するマシンリスニングモデルを提案する。
  論文  参考訳（メタデータ） (2020-07-21T16:37:15Z)
• Vector-Quantized Timbre Representation [53.828476137089325]
  本稿では, スペクトル特性の近似分解を生成的特徴の集合で学習することにより, 個々の音色をより柔軟に合成することを目的とする。 音量分布の量子化表現を学習するために、大音量から切り離された離散潜在空間を持つオートエンコーダを導入する。 オーケストラ楽器と歌唱音声間の音声の翻訳結果と、ボーカルの模倣音から楽器への変換結果について詳述する。
  論文  参考訳（メタデータ） (2020-07-13T12:35:45Z)
• Automated and Formal Synthesis of Neural Barrier Certificates for Dynamical Models [70.70479436076238]
  バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。 このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。 その結果,音のBCsを最大2桁の速度で合成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T07:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。