論文の概要: AURA: Unified Multimodal Framework for Conversational Music Editing

• arxiv url: http://arxiv.org/abs/2609.14344v1
• Date: Sun, 13 Sep 2026 07:09:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.797995
• Title: AURA: Unified Multimodal Framework for Conversational Music Editing
• Title（参考訳）: AURA:会話音楽編集のための統一マルチモーダルフレームワーク
• Abstract要約: AURAは対話型音楽編集のための統合マルチモーダルフレームワークである。 AURAはマルチモーダルな大言語モデルを使用して、完全な対話履歴、オプションイメージ、参照オーディオを解釈する。 コンセプト・トゥ・オーディオ・モジュールは、これらのトークンとフレーム整列参照機能を凍結したMusicGenバックボーンに注入し、影響のないコンテンツを保存しながら正確な編集を可能にする。
• 参考スコア（独自算出の注目度）: 8.899543426215084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction-guided music editors typically process each request independently, limiting their ability to support workflows in which users progressively refine a track. We introduce AURA, a unified multimodal framework for conversational music editing. AURA uses a multimodal large language model to interpret the complete dialogue history, an optional image, and reference audio, distilling the editing intent into compact concept tokens. A concept-to-audio module injects these tokens and frame-aligned reference features into a frozen MusicGen backbone, enabling precise edits while preserving unaffected content. AURA optimizes only 91M parameters while retaining 1.9B frozen backbone parameters. Experiments on Slakh2100 and MoisesDB demonstrate substantial improvements in edit correctness and content preservation over existing instruction-guided methods, including a 4-5 times reduction in FAD for out-of-domain addition and removal.
• Abstract（参考訳）: インストラクション誘導の音楽エディタは通常、各リクエストを個別に処理し、ユーザが徐々にトラックを洗練させるワークフローをサポートする能力を制限する。 本稿では,対話型音楽編集のための統合マルチモーダルフレームワークであるAURAを紹介する。 AURAはマルチモーダルな大言語モデルを使用して、完全な対話履歴、オプションイメージ、参照オーディオを解釈し、編集意図をコンパクトな概念トークンに蒸留する。 コンセプト・トゥ・オーディオ・モジュールは、これらのトークンとフレーム整列参照機能を凍結したMusicGenバックボーンに注入し、影響のないコンテンツを保存しながら正確な編集を可能にする。 AURAは1.9Bの冷凍バックボーンパラメータを保持しながら、91Mのパラメータのみを最適化する。 Slakh2100とMoisesDBの実験では、既存の命令誘導方式に比べて修正の正確さとコンテンツ保存が大幅に改善され、ドメイン外の追加と削除のためのFADが4～5倍削減された。

関連論文リスト

• UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling [31.829301124201226]
  音声編集は、残音声を保存しながら、発話の特定の部分を変更することを目的としている。 サブ音素から単語レベルまでの構成可能な話者・感情・コンテンツ編集をサポートする統一音声属性編集フレームワークUniSAEを提案する。 実験により,提案した統合フレームワークは,正確な話者と感情の制御,複数の粒度でのコンテンツ編集,一つのフレームワーク内での3つの属性の共用化をサポートすることが示された。
  論文  参考訳（メタデータ） (2026-06-30T04:46:45Z)
• FIGMA: Towards FIne-Grained Music retrievAl [65.98380295254817]
  自然言語記述による音楽の検索はCLAPのような対照的な音声テキストモデルで改善されているが、現在のシステムはいまだに大まかなセマンティッククエリに限られている。 この制限は、長いキャプションで訓練されているにもかかわらず、CLAPベースのモデルは、最初の数個のトークンのみを効果的に活用する。 本研究では,グローバルな音声テキストアライメントとフレームレベルのトークンアライメントを共同で最適化することで,この制限に対処するマルチビューコントラストアーキテクチャであるFIGMAを提案する。
  論文  参考訳（メタデータ） (2026-06-04T18:05:39Z)
• Multimodal Music Recommendation System using LLMs [53.1178230380919]
  本稿では,LastFM-1Kデータセットを3つの補完信号で強化するセッションベース音楽レコメンデーションフレームワークを提案する。 マルチモーダル機能と異なるアイテムIDエンコーダバックボーンで拡張することで、E4SRecフレームワークを採用する。 実験の結果,コンテンツベース機能の統合により,リコールでは最大95%,NDCGでは最大79%のベースラインが向上した。
  論文  参考訳（メタデータ） (2026-05-28T15:34:12Z)
• Audio-Omni: Extending Multi-modal Understanding to Versatile Audio Generation and Editing [63.573256490583724]
  Audio-Omniは、一般的な音、音楽、音声ドメイン間で生成と編集を統合する最初のエンドツーエンドフレームワークである。 高次推論のための凍結型マルチモーダル大言語モデルと高忠実度合成のためのトレーニング可能な拡散変換器を併用する。 AudioEditは100万以上の精巧にキュレートされた編集ペアからなる大規模なデータセットである。
  論文  参考訳（メタデータ） (2026-04-12T16:08:20Z)
• Revisiting Content-Based Music Recommendation: Efficient Feature Aggregation from Large-Scale Music Models [54.4270504928356]
  Music Recommendation Systems (MRS)は、現代のストリーミングプラットフォームの基盤である。 我々は,音楽レコメンデーションにおけるマルチモーダル情報の役割を強調するために,総合的なデータセットとベンチマークフレームワークであるTASTEを提案する。 近年の大規模自己監督型音楽エンコーダの活用により,レコメンデーションタスク間で抽出された音声表現の意義を実証する。
  論文  参考訳（メタデータ） (2026-02-10T15:24:41Z)
• EditGen: Harnessing Cross-Attention Control for Instruction-Based Auto-Regressive Audio Editing [54.10773655199149]
  自動回帰モデルにおける効率的な音声編集のためのクロスアテンション制御の活用について検討する。 画像編集手法に触発されて,横断的・自己認識的メカニズムを通じて編集をガイドするPrompt-to-Promptライクなアプローチを開発した。
  論文  参考訳（メタデータ） (2025-07-15T08:44:11Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• Instruct-MusicGen: Unlocking Text-to-Music Editing for Music Language Models via Instruction Tuning [24.6866990804501]
  Instruct-MusicGenは、事前訓練されたMusicGenモデルを微調整して、効率的に編集命令に従う新しいアプローチである。 注目すべきは、Instruct-MusicGenはオリジナルのMusicGenモデルに8%新しいパラメータを導入し、5Kステップでのみ列車を走らせることだ。
  論文  参考訳（メタデータ） (2024-05-28T17:27:20Z)
• InstructME: An Instruction Guided Music Edit And Remix Framework with Latent Diffusion Models [42.2977676825086]
  本稿では,遅延拡散モデルに基づくインストラクションガイド付き音楽編集・リミックスフレームワークであるInstructMEを開発する。 本フレームワークは,編集前後の一貫性を維持するため,U-Netをマルチスケールアグリゲーションで強化する。 提案手法は, 音質, テキスト関連性, 調和性において, 先行するシステムを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-08-28T07:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。