論文の概要: MI-MIDI: Mechanistic Interpretability of Text-to-MIDI Generation Models via Probing, Lenses and Steering

• arxiv url: http://arxiv.org/abs/2608.06638v1
• Date: Thu, 06 Aug 2026 23:09:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.302636
• Title: MI-MIDI: Mechanistic Interpretability of Text-to-MIDI Generation Models via Probing, Lenses and Steering
• Title（参考訳）: MI-MIDI: プローブ, レンズ, ステアリングによるテキスト-MIDI生成モデルの力学的解釈可能性
• Abstract要約: コントラスト設計のための2つの公開テキスト-MIDIシステムについて分析する。 アーキテクチャがどのように形成と制御を形成するかを示します。 その結果、記号生成器における音楽概念のトレースと制御のための実用的なツールキットが提供される。
• 参考スコア（独自算出の注目度）: 0.12277343096128711
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Mechanistic interpretability of music generation has concentrated on audio models, leaving symbolic models largely unexplored. We analyze two public text-to-MIDI systems of contrasting design: the purpose-built encoder--decoder text2midi and MIDI-LLM, a Llama~3.2~1B model extended with MIDI tokens using linear probing, the logit and tuned lenses, activation patching and difference-in-means steering. Across these methods, we recover musically meaningful structure and show how architecture shapes its formation and control. Pitch, instrumentation, harmony and texture are linearly decodable in both models. text2midi refines predictions gradually across depth, whereas MIDI-LLM works largely in its inherited textual basis before a sharp late rotation into the musical vocabulary; patching identifies a matching late attenuation of prompt-driven instrument transfer. Steering produces bidirectional changes in register and polyphony in both systems, and in tempo/energy in MIDI-LLM. Our two-orientation protocol isolates directional control and shows that all-layer interventions are robust in text2midi but accumulate disruptively in MIDI-LLM. Together, the results provide a practical toolkit for tracing and controlling musical concepts in symbolic generators. Audio examples are available on a demo website.
• Abstract（参考訳）: 音楽生成の機械的解釈性は、音響モデルに集中しており、象徴的なモデルはほとんど探索されていない。 汎用エンコーダ-デコーダ-text2midi と MIDI-LLM と,リニアプローブを用いたMIDIトークンで拡張された Llama~3.2~1B モデル,ロジットおよびチューニングレンズ,アクティベーションパッチ,および差分内ステアリングの2つのコントラスト設計系を解析した。 これらの方法では,音楽的に意味のある構造を復元し,構造がどのように形成・制御されるかを示す。 ピッチ、インスツルメンテーション、調和、テクスチャは両方のモデルで線形にデオード可能である。 text2midi は徐々に深度にわたって予測を洗練させるが、MIDI-LLM は音楽語彙への急激な遅い回転の前に、その継承されたテキストベースで機能する。 ステアリングは、両方のシステム、MIDI-LLMのテンポ/エネルギーにおいて、レジスタとポリフォニーの双方向的な変化を引き起こす。 我々の双方向プロトコルは方向制御を分離し、全層干渉がtext2midi では堅牢であるが、MIDI-LLM では破壊的に蓄積されていることを示す。 その結果,記号生成器における音楽概念の追跡と制御のための実用的なツールキットが得られた。 オーディオサンプルはデモウェブサイトで公開されている。

関連論文リスト

• Decomposer: Learning to Decompile Symbolic Music to Programs [45.01451797892678]
  シンボリック・ミュージックから音楽プログラムを復元するためのフレームワークであるDecomposerを提案する。 我々は、実行時に入力を再構築する音楽プログラミング言語であるStrudelでプログラムを作成する。 人工的および実世界のMIDIベンチマークによる評価から,Decomposer はクローズドソース LLM よりも MIDI 再構成忠実度がかなり高いことを示す。
  論文  参考訳（メタデータ） (2026-07-02T08:09:52Z)
• InstructAudio: Unified speech and music generation with natural language instruction [52.76518112649456]
  InstructAudioは、音響属性の命令ベースの制御を可能にする統一的なフレームワークである。 英語と中国語で表現力のある音声、音楽、対話生成をサポートする。
  論文  参考訳（メタデータ） (2025-11-23T15:15:21Z)
• MIDI-VALLE: Improving Expressive Piano Performance Synthesis Through Neural Codec Language Modelling [32.78044321881271]
  音声合成のためのVALLEフレームワークであるMIDI-VALLEを提案する。 VALLEはMIDIとオーディオの両方を離散トークンとしてエンコードし、より一貫性があり堅牢なピアノ演奏のモデリングを容易にする。 評価の結果,MIDI-VALLEは最先端のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2025-07-11T12:28:20Z)
• Fine-Tuning MIDI-to-Audio Alignment using a Neural Network on Piano Roll and CQT Representations [2.3249139042158853]
  本稿では,人間のピアノ演奏の音声録音と,それに対応するゆるやかなMIDIファイルとを同期させるニューラルネットワーク手法を提案する。 提案手法は,業界標準の動的時間ワープ法(DTW)よりも最大20%高いアライメント精度を実現する。
  論文  参考訳（メタデータ） (2025-06-27T13:59:50Z)
• SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation [75.86473375730392]
  SongGenは、コントロール可能な曲を生成するための、完全なオープンソースでシングルステージの自動回帰トランスフォーマーである。 音声と伴奏の混合を生成する混合モードと、それらを別々に合成するデュアルトラックモードの2つの出力モードをサポートする。 コミュニティの関与と今後の研究を促進するため、私たちは、モデルの重み付け、トレーニングコード、注釈付きデータ、前処理パイプラインをリリースします。
  論文  参考訳（メタデータ） (2025-02-18T18:52:21Z)
• Text2midi: Generating Symbolic Music from Captions [7.133321587053803]
  本稿では,テキスト記述からMIDIファイルを生成するエンド・ツー・エンド・エンド・モデルであるtext2midiを紹介する。 プレトレーニングされたLLMエンコーダを使用してキャプションを処理し、自動回帰変換器デコーダを条件にMIDIシーケンスを生成する。 我々は,MIDIファイルを高品質に生成するための総合的な実験評価を行い,自動化された研究と人為的な研究の両方を取り入れた。
  論文  参考訳（メタデータ） (2024-12-21T08:09:12Z)
• Annotation-Free MIDI-to-Audio Synthesis via Concatenative Synthesis and Generative Refinement [0.0]
  CoSaRefはMIDI-to-audio合成法であり、MIDI-audioペアデータセットを必要としない。 MIDIの入力に基づいて合成音声トラックを生成し、MIDIアノテーションなしでデータセットに基づいて訓練された拡散に基づく深層生成モデルで洗練する。 デジタルオーディオワークステーションの伝統的な機能と同様、音声サンプルの選択やMIDI設計を通じて音色や表現を詳細に制御することができる。
  論文  参考訳（メタデータ） (2024-10-22T08:01:40Z)
• Accompanied Singing Voice Synthesis with Fully Text-controlled Melody [61.147446955297625]
  Text-to-song (TTSong) は、歌声の伴奏を合成する音楽生成タスクである。 完全テキスト制御されたメロディで高品質な曲を生成する最初のTTSongモデルであるMelodyLMを提案する。
  論文  参考訳（メタデータ） (2024-07-02T08:23:38Z)
• Simple and Controllable Music Generation [94.61958781346176]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ） (2023-06-08T15:31:05Z)
• Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
  本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。 生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。 トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
  論文  参考訳（メタデータ） (2023-02-08T07:27:27Z)
• Multi-instrument Music Synthesis with Spectrogram Diffusion [19.81982315173444]
  我々は、MIDIシーケンスから任意の組み合わせの楽器をリアルタイムで生成できるニューラルシンセサイザーの中盤に焦点を当てる。 MIDIはエンコーダ・デコーダ変換器でスペクトログラム、次いでGAN(Generative Adversarial Network)スペクトルインバータでスペクトログラムからオーディオへ分光する。 これは、楽器と音符の任意の組み合わせのための対話的で表現力のあるニューラルシンセシスに向けた、有望な第一歩である。
  論文  参考訳（メタデータ） (2022-06-11T03:26:15Z)
• Foley Music: Learning to Generate Music from Videos [115.41099127291216]
  Foley Musicは、楽器を演奏する人々に関するサイレントビデオクリップのために、可愛らしい音楽を合成できるシステムだ。 まず、ビデオから音楽生成に成功するための2つの重要な中間表現、すなわち、ビデオからのボディーキーポイントと、オーディオ録音からのMIDIイベントを識別する。 身体の動きに応じてMIDIイベントシーケンスを正確に予測できるグラフ$-$Transformerフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。