論文の概要: TADA! Tuning Audio Diffusion Models through Activation Steering

• arxiv url: http://arxiv.org/abs/2602.11910v1
• Date: Thu, 12 Feb 2026 13:07:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.823102
• Title: TADA! Tuning Audio Diffusion Models through Activation Steering
• Title（参考訳）: アクティベーションステアリングによるオーディオ拡散モデルの調整
• Authors: Łukasz Staniszewski, Katarzyna Zaleska, Mateusz Modrzejewski, Kamil Deja,
• Abstract要約: 特定の楽器の存在,ボーカル,ジャンルの特徴など,異なる意味的音楽概念が,注目層の小さなサブセットによって制御されていることを示す。 Contrastive Activation Addition と Sparse Autoencoders を用いることで、特定の音楽要素を高精度に修正することができる。
• 参考スコア（独自算出の注目度）: 3.563701362999877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio diffusion models can synthesize high-fidelity music from text, yet their internal mechanisms for representing high-level concepts remain poorly understood. In this work, we use activation patching to demonstrate that distinct semantic musical concepts, such as the presence of specific instruments, vocals, or genre characteristics, are controlled by a small, shared subset of attention layers in state-of-the-art audio diffusion architectures. Next, we demonstrate that applying Contrastive Activation Addition and Sparse Autoencoders in these layers enables more precise control over the generated audio, indicating a direct benefit of the specialization phenomenon. By steering activations of the identified layers, we can alter specific musical elements with high precision, such as modulating tempo or changing a track's mood.
• Abstract（参考訳）: 音声拡散モデルはテキストから高忠実度音楽を合成することができるが、高次概念を表現するための内部メカニズムはいまだに理解されていない。 本研究では、アクティベーションパッチを用いて、特定の楽器の存在、ボーカル、ジャンルの特徴などの異なる意味的音楽概念が、最先端の音声拡散アーキテクチャにおける注目層の小さな共有サブセットによって制御されていることを示す。 次に、これらの層にContrastive Activation AdditionとSparse Autoencoderを適用することで、生成されたオーディオをより正確に制御できることを示し、特殊化現象の直接的な利点を示す。 同定された階層の活性化を操ることで、テンポの調整やトラックの気分の変化など、特定の音楽要素を高精度に変化させることができる。

関連論文リスト

• EditGen: Harnessing Cross-Attention Control for Instruction-Based Auto-Regressive Audio Editing [54.10773655199149]
  自動回帰モデルにおける効率的な音声編集のためのクロスアテンション制御の活用について検討する。 画像編集手法に触発されて,横断的・自己認識的メカニズムを通じて編集をガイドするPrompt-to-Promptライクなアプローチを開発した。
  論文  参考訳（メタデータ） (2025-07-15T08:44:11Z)
• Extending Visual Dynamics for Video-to-Music Generation [51.274561293909926]
  DyViMは、ビデオから音楽への生成のための動的モデリングを強化する新しいフレームワークである。 高レベルのセマンティクスは、クロスアテンションメカニズムを通じて伝達される。 実験では、DyViMが最先端(SOTA)法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2025-04-10T09:47:26Z)
• Prosody-Enhanced Acoustic Pre-training and Acoustic-Disentangled Prosody Adapting for Movie Dubbing [60.38045088180188]
  高精度な韻律アライメントで高品質なダビング生成を実現するために,音響プロソディディスト2段法を提案する。 我々は、異なる映画における視覚領域シフトの影響を低減するために、ドメイン内感情分析モジュールを組み込んだ。 提案手法は,2つのベンチマークにおける最先端モデルに対して良好に機能する。
  論文  参考訳（メタデータ） (2025-03-15T08:25:57Z)
• FolAI: Synchronized Foley Sound Generation with Semantic and Temporal Alignment [11.796771978828403]
  ビデオから時間的コヒーレントかつ意味論的に制御可能な音響効果を生成する2段階生成フレームワークであるFolAIを紹介する。 その結果、我々のモデルは、時間的に視覚運動に整合し、意味的にユーザ意図と整合し、知覚的にリアルな音声を確実に生成することがわかった。 これらの知見は、FolAIがプロと対話的な環境でスケーラブルで高品質なフォーリー音声合成のための、制御可能でモジュラーなソリューションとしての可能性を強調している。
  論文  参考訳（メタデータ） (2024-12-19T16:37:19Z)
• Combining audio control and style transfer using latent diffusion [1.705371629600151]
  本稿では,単一モデル内での明示的な制御とスタイル転送を統一することを目的とする。 我々のモデルは、明示的な制御または他のオーディオ例を通して構造を指定しながら、音色ターゲットにマッチする音声を生成することができる。 本手法は,異なるジャンルのターゲットオーディオのスタイルにリズミカル・メロディックなコンテンツを転送することで,完全な楽曲のカバーバージョンを生成することができることを示す。
  論文  参考訳（メタデータ） (2024-07-31T23:27:27Z)
• Prompt-Singer: Controllable Singing-Voice-Synthesis with Natural Language Prompt [50.25271407721519]
  本稿では,歌手の性別,声域,音量を自然言語で制御できる最初のSVS手法であるPrompt-Singerを提案する。 我々は,マルチスケール階層を持つデコーダのみの変換器に基づくモデルアーキテクチャを採用し,レンジメロディデカップリングされたピッチ表現を設計する。 実験により,本モデルは良好な制御能力と音質が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-18T13:39:05Z)
• Performance Conditioning for Diffusion-Based Multi-Instrument Music Synthesis [15.670399197114012]
  本稿では,特定の性能と記録環境に生成モデルを条件付け,多施設合成の制御を強化することを提案する。 パフォーマンスコンディショニング(Performance Conditioning)とは、特定の演奏から採った特定の楽器のスタイルと音色で音楽を合成する生成モデルを示すツールである。 試作機は,多種多様な楽器と最先端のFADリアリズムスコアを用いた未計算性能を用いて評価した。
  論文  参考訳（メタデータ） (2023-09-21T17:44:57Z)
• Continuous descriptor-based control for deep audio synthesis [1.2599533416395767]
  本稿では,表現的かつ連続的な記述子に基づく制御が可能な音声モデルを提案する。 我々は、潜在空間における音楽的特徴を明示的に除去することで、リアルタイム生成の制御性を強制する。 本研究では, 楽器, 打楽器, 音声録音など, 様々な音質において, 提案手法の性能を評価する。
  論文  参考訳（メタデータ） (2023-02-27T06:40:11Z)
• Vector-Quantized Timbre Representation [53.828476137089325]
  本稿では, スペクトル特性の近似分解を生成的特徴の集合で学習することにより, 個々の音色をより柔軟に合成することを目的とする。 音量分布の量子化表現を学習するために、大音量から切り離された離散潜在空間を持つオートエンコーダを導入する。 オーケストラ楽器と歌唱音声間の音声の翻訳結果と、ボーカルの模倣音から楽器への変換結果について詳述する。
  論文  参考訳（メタデータ） (2020-07-13T12:35:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。