論文の概要: Parameter-Efficient Fine-Tuning of Transformer Encoders for Audio-Image-Symbolic Music Retrieval

• arxiv url: http://arxiv.org/abs/2610.41512v1
• Date: Fri, 30 Oct 2026 10:02:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.67758
• Title: Parameter-Efficient Fine-Tuning of Transformer Encoders for Audio-Image-Symbolic Music Retrieval
• Title（参考訳）: 音響画像・シンボリック音楽検索のための変圧器エンコーダのパラメータ効率の良い微調整
• Abstract要約: 本稿では,事前学習した音楽エンコーダに適用するためのパラメータ効率細調整(PEFT)の有効性について検討する。 我々は、TriScoreとMusical Themeデータセット上の9つの事前訓練されたオーディオ、画像、シンボリックスコアエンコーダのフルチューニング、LoRA、QLoRAを比較した。 全体としてPEFTは、完全な微調整に代わる効果的で効率的な代替手段を提供するが、一助的差別の改善だけでは、より優れたマルチモーダル組織を保証することはできない。
• 参考スコア（独自算出の注目度）: 9.337820870201565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Score-based multimodal music retrieval requires representations that are both discriminative within each modality and compatible across audio recordings, sheet music images, and symbolic scores. This paper investigates the effectiveness of parameter-efficient fine-tuning (PEFT) for adapting pretrained music encoders and examines whether modality-specific improvements translate into better multimodal representations. We compare full fine-tuning, LoRA, and QLoRA across nine pretrained audio, image, and symbolic score encoders on TriScore and the Musical Theme Dataset. Encoders are first evaluated and selected through supervised unimodal classification, using frozen-encoder linear probing as a reference. We then introduce a controlled 2x2 design crossing encoder adaptation with task-specific shared projection, comparing frozen and adapted representations before and after projection. LoRA or QLoRA is selected in 14 of 18 modality-target combinations, frequently matching or outperforming full fine-tuning while optimizing substantially fewer parameters. However, these unimodal gains do not transfer uniformly to multimodal classification. Adaptation and projection are complementary for composer classification on TriScore, largely redundant for TriScore instrument and the Musical Theme Dataset instrument and ensemble tasks, and partially interfering for composer classification on the Musical Theme Dataset. The final adapted-and-projected title representation on TriScore supports piece-level retrieval, reaching average Top-5 and Top-10 accuracies of 55.32 and 64.68, respectively. Cross-modal exclusion and neighborhood analyses further reveal strong modality-specific local structure in the projected spaces. Overall, PEFT provides an effective and computationally efficient alternative to full fine-tuning, but improved unimodal discrimination alone does not guarantee better multimodal organization.
• Abstract（参考訳）: スコアベースのマルチモーダル音楽検索は、各モーダル内で識別可能であり、オーディオ録音、楽譜、シンボリックスコア間で互換性のある表現を必要とする。 本稿では、事前学習された音楽エンコーダの適応のためのパラメータ効率のよい微調整(PEFT)の有効性について検討し、モーダリティに特有な改善がより良いマルチモーダル表現に変換されるかどうかを検討する。 我々は、TriScoreとMusical Theme Datasetの9つの事前訓練されたオーディオ、画像、シンボリックスコアエンコーダのフルチューニング、LoRA、QLoRAを比較した。 エンコーダは、凍結エンコーダ線形探索を基準として、教師付きユニモーダル分類によってまず評価され、選択される。 次に,タスク固有共有プロジェクションによる2x2の設計交差エンコーダの制御を導入し,プロジェクション前後の凍結表現と適応表現を比較した。 LoRAまたはQLoRAは18のモダリティとターゲットの組み合わせのうち14で選択され、ほぼ少ないパラメータを最適化しながら、完全な微調整を頻繁にマッチングまたは性能良く行う。 しかし、これらの単項利得は多項分類に一様ではない。 適応と投影は、TriScoreの作曲家分類を補完するものであり、TriScoreの楽器と音楽テーマデータセットの楽器とアンサンブルのタスクにほとんど冗長であり、音楽テーマデータセットの作曲家分類に部分的に干渉している。 TriScoreの最終的な適応および計画されたタイトル表現はピースレベルの検索をサポートし、それぞれ55.32と64.68のTop-5とTop-10のアキュラシーに到達した。 クロスモーダル排除と近傍解析により、射影空間における強いモダリティ特異的局所構造が明らかにされる。 全体としてPEFTは、完全な微調整に代わる効果的で効率的な代替手段を提供するが、一助的差別の改善だけでは、より優れたマルチモーダル組織を保証することはできない。

関連論文リスト

• FIGMA: Towards FIne-Grained Music retrievAl [65.98380295254817]
  自然言語記述による音楽の検索はCLAPのような対照的な音声テキストモデルで改善されているが、現在のシステムはいまだに大まかなセマンティッククエリに限られている。 この制限は、長いキャプションで訓練されているにもかかわらず、CLAPベースのモデルは、最初の数個のトークンのみを効果的に活用する。 本研究では,グローバルな音声テキストアライメントとフレームレベルのトークンアライメントを共同で最適化することで,この制限に対処するマルチビューコントラストアーキテクチャであるFIGMAを提案する。
  論文  参考訳（メタデータ） (2026-06-04T18:05:39Z)
• Multimodal Music Recommendation System using LLMs [53.1178230380919]
  本稿では,LastFM-1Kデータセットを3つの補完信号で強化するセッションベース音楽レコメンデーションフレームワークを提案する。 マルチモーダル機能と異なるアイテムIDエンコーダバックボーンで拡張することで、E4SRecフレームワークを採用する。 実験の結果,コンテンツベース機能の統合により,リコールでは最大95%,NDCGでは最大79%のベースラインが向上した。
  論文  参考訳（メタデータ） (2026-05-28T15:34:12Z)
• Revisiting Content-Based Music Recommendation: Efficient Feature Aggregation from Large-Scale Music Models [54.4270504928356]
  Music Recommendation Systems (MRS)は、現代のストリーミングプラットフォームの基盤である。 我々は,音楽レコメンデーションにおけるマルチモーダル情報の役割を強調するために,総合的なデータセットとベンチマークフレームワークであるTASTEを提案する。 近年の大規模自己監督型音楽エンコーダの活用により,レコメンデーションタスク間で抽出された音声表現の意義を実証する。
  論文  参考訳（メタデータ） (2026-02-10T15:24:41Z)
• Unified Cross-modal Translation of Score Images, Symbolic Music, and Performance Audio [7.518711227993383]
  我々は、多くの翻訳タスクで汎用モデルを同時に訓練する。 本稿では,新しい大規模データセットと各モダリティのトークン化を提案する。 提案手法は,最初の楽譜条件付き音声生成を実現する。
  論文  参考訳（メタデータ） (2025-05-19T08:46:45Z)
• CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment [76.32508013503653]
  CAV-MAE Sync は,自己教師型音声視覚学習のためのオリジナルの CAV-MAE フレームワークの簡易かつ効果的な拡張として提案する。 音声をグローバルな表現ではなく,映像フレームに整合した時間的シーケンスとして扱うことで,モダリティ間のミスマッチに対処する。 パッチトークンのセマンティック負荷を低減するための学習可能なレジスタトークンを導入することにより,空間的ローカライゼーションを改善する。
  論文  参考訳（メタデータ） (2025-05-02T12:59:58Z)
• Music Genre Classification using Large Language Models [50.750620612351284]
  本稿では,音楽ジャンル分類のための事前学習された大規模言語モデル(LLM)のゼロショット機能を利用する。 提案手法は、音声信号を20ミリ秒のチャンクに分割し、畳み込み特徴エンコーダで処理する。 推論中、個々のチャンクの予測は最終ジャンル分類のために集約される。
  論文  参考訳（メタデータ） (2024-10-10T19:17:56Z)
• Music Genre Classification: A Comparative Analysis of CNN and XGBoost Approaches with Mel-frequency cepstral coefficients and Mel Spectrograms [0.0]
  提案した畳み込みニューラルネットワーク(CNN)、完全連結層(FC)を持つVGG16、異なる特徴に対するeXtreme Gradient Boosting(XGBoost)アプローチの3つのモデルの性能について検討した。 さらに,データ前処理フェーズにデータセグメンテーションを適用することで,CNNの性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-01-09T01:50:31Z)
• Deep-Learning Architectures for Multi-Pitch Estimation: Towards Reliable Evaluation [7.599399338954308]
  マルチピッチ推定は、ポリフォニック録音におけるピッチの同時動作を検出することを目的としている。 本稿では,CNN,U-net構造,自己意図的コンポーネントに基づくアーキテクチャを実現する。 MusicNetとSchubert Winterreiseのデータセットを用いたマルチピッチ推定のために,これらのアーキテクチャのバリエーションを比較した。
  論文  参考訳（メタデータ） (2022-02-18T13:52:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。