論文の概要: What Makes a Good Layer? Assessing the Layer-Wise Intrinsic Properties of Music Foundation Models

• arxiv url: http://arxiv.org/abs/2608.14819v1
• Date: Fri, 14 Aug 2026 18:46:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.093289
• Title: What Makes a Good Layer? Assessing the Layer-Wise Intrinsic Properties of Music Foundation Models
• Title（参考訳）: 良い層を作るものは何か? 音楽基礎モデルのレイヤーワイズ固有の特性の評価
• Abstract要約: 音楽ファンデーションモデルは、凍結した音声特徴抽出器として一般的に使用されるが、どの層から抽出するかは、主に本質的なままである。 3つの事前学習パラダイムにまたがる12曲の音楽基礎モデルの体系的分析を行う。 そこで本研究では, 階層選択, 整合性, あるいは優れたマルチ層融合手法の有効なプロキシとして, 内在的メトリクスが有効であることを示す。
• 参考スコア（独自算出の注目度）: 11.33270501801585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Music foundation models are commonly used as frozen audio feature extractors, yet selecting which layer to extract from remains largely heuristic. Current practice defaults to fixed depths or multi-layer fusion, with limited understanding of why certain layers transfer better across downstream tasks or how representation quality varies with depth and pre-training paradigm. We conduct a systematic layer-wise analysis of 12 music foundation models spanning three pre-training paradigms (masked modeling, autoregressive modeling, and contrastive learning), characterizing their hidden representations through intrinsic geometric and transformation-based properties. Correlating label-free representation-quality metrics with layer-wise performance across 15 downstream tasks, we find that several metrics track layer quality for genre classification, emotion recognition, automatic tagging, and beat tracking, albeit with varying strength across tasks and pre-training paradigms. However, all metrics fail on tonal tasks such as key estimation and chord recognition, indicating that no single property serves as a general proxy for representation quality across music information retrieval tasks. To address this gap, we introduce a pitch-transposition equivariance measure that captures properties missed by these standard metrics, providing a consistent indicator of tonal quality across model families. Finally, we show that intrinsic metrics can serve as effective proxies for layer selection, matching or outperforming trainable multi-layer fusion methods, particularly in limited-data settings.
• Abstract（参考訳）: 音楽ファンデーションモデルは、凍結したオーディオ特徴抽出器として一般的に使用されるが、どの層から抽出するかを選択することは概ねヒューリスティックである。 現在のプラクティスでは、ダウンストリームタスク間で特定のレイヤがより良く移動する理由や、表現品質が深さや事前トレーニングのパラダイムによってどのように変化するのかを限定した、固定深度や多層融合がデフォルトになっている。 本研究では、3つの事前学習パラダイム(マスクドモデリング、自己回帰モデリング、コントラスト学習)にまたがる12の音楽基礎モデルの階層構造解析を行い、本質的な幾何学的および変換的特性によって隠れた表現を特徴付ける。 ラベルのない表現品質の指標と15の下流タスクの階層的パフォーマンスを関連付けると、いくつかの指標が階層的な分類、感情認識、自動タグ付け、ビートトラッキングにおいて、タスク間の強度や事前学習のパラダイムによって異なるものの、階層的品質を追跡することが分かる。 しかし、全てのメトリクスは鍵推定やコード認識のような音調タスクで失敗し、単一のプロパティが音楽情報検索タスク全体の表現品質の一般的なプロキシとして機能しないことを示す。 このギャップに対処するために,これらの標準指標によって欠落した特性を捕捉し,モデルファミリ間の音色品質の一貫性のある指標を提供するピッチ変換同値尺度を導入する。 最後に、本発明のメトリクスは、特に限定データ設定において、トレーニング可能な多層融合法、マッチング、あるいは性能向上のための効果的なプロキシとして機能することを示す。

関連論文リスト

• Do All Individual Layers Help? An Empirical Study of Task-Interfering Layers in Vision-Language Models [51.754991950934375]
  事前トレーニングされたVLMでは、すべてのレイヤがデフォルトで実行され、下流タスクで予測される。 パラメータをゼロにすることで、ひとつの層にインターベンションすることで、特定のタスクのパフォーマンスを向上させることができる。 与えられたタスクに対して最も干渉するレイヤを動的に識別し、バイパスする、トレーニング不要なテスト時間適応手法であるTaLoを提案する。
  論文  参考訳（メタデータ） (2026-02-01T11:37:05Z)
• Layer by Layer: Uncovering Hidden Representations in Language Models [28.304269706993942]
  中間層がよりリッチな表現をエンコードできることを示し、ダウンストリームタスクの幅広いパフォーマンスを改善することがよくある。 我々のフレームワークは、各層が情報圧縮と信号保存のバランスをとる方法を強調し、なぜ中層埋め込みが最終層の性能を上回るのかを明らかにする。
  論文  参考訳（メタデータ） (2025-02-04T05:03:42Z)
• Persistent Topological Features in Large Language Models [0.6597195879147556]
  トポロジカルな特徴である$p$次元の穴が層全体に持続し、進化していくかを測定するトポロジカル記述子を導入する。 このことは、プロンプトがどのように再配置され、それらの相対的な位置が表現空間で変化するかという統計的視点を与える。 ショーケースアプリケーションとして、レイヤプルーニングの基準を確立するためにzigzag Persistenceを使用し、最先端の手法に匹敵する結果を得る。
  論文  参考訳（メタデータ） (2024-10-14T19:46:23Z)
• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• Stochastic Layers in Vision Transformers [85.38733795180497]
  視覚変換器の完全な層を導入し,性能を著しく低下させることなく実現した。 この追加により、視覚機能の堅牢性が向上し、プライバシーが強化される。 私たちの機能は3つの異なるアプリケーション、すなわち、敵の堅牢性、ネットワークキャリブレーション、機能プライバシに使用しています。
  論文  参考訳（メタデータ） (2021-12-30T16:07:59Z)
• Hierarchical Variational Memory for Few-shot Learning Across Domains [120.87679627651153]
  本稿では,プロトタイプの各レベルが階層メモリから対応する情報を取得する階層型プロトタイプモデルを提案する。 このモデルには、ドメインシフトの状況が要求される場合、異なるセマンティックレベルの機能を柔軟に依存する能力が備わっている。 モデルにおける各コンポーネントの有効性を示すために、徹底的なアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2021-12-15T15:01:29Z)
• Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
  一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。 本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。 実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-07-07T11:43:59Z)
• CharacterGAN: Few-Shot Keypoint Character Animation and Reposing [64.19520387536741]
  本稿では,与えられた文字の少数のサンプルに対してのみトレーニング可能な生成モデルである characterGAN を紹介する。 我々のモデルはキーポイント位置に基づいて新しいポーズを生成し、インタラクティブなフィードバックを提供しながらリアルタイムで修正することができる。 提案手法は,近年のベースラインよりも優れており,多様なキャラクタに対してリアルなアニメーションを生成する。
  論文  参考訳（メタデータ） (2021-02-05T12:38:15Z)
• Music FaderNets: Controllable Music Generation Based On High-Level Features via Low-Level Feature Modelling [5.88864611435337]
  限られたデータ量で高レベルの特徴表現を学習できるフレームワークを提案する。 提案するフレームワークをMusic FaderNetsと呼び,低レベルの属性を継続的に操作できるという事実から着想を得た。 本モデルでは, 覚醒特性とそれに対応する低レベル属性の固有関係をうまく学習できることを実証する。
  論文  参考訳（メタデータ） (2020-07-29T16:01:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。