論文の概要: Guiding Audio Editing with Audio Language Model

• arxiv url: http://arxiv.org/abs/2509.21625v1
• Date: Thu, 25 Sep 2025 21:43:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.036642
• Title: Guiding Audio Editing with Audio Language Model
• Title（参考訳）: 音声言語モデルによる音声編集の指導
• Authors: Zitong Lan, Yiduo Hao, Mingmin Zhao,
• Abstract要約: 本稿では,ステレオ音声編集のための新しいフレームワークであるSmartDJを紹介する。 高レベルの命令が与えられたら、SmartDJはそれを一連のアトミックな編集操作に分解する。 これらの操作はステレオオーディオを操作するために訓練された拡散モデルによって実行される。
• 参考スコア（独自算出の注目度）: 13.126858950459557
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio editing plays a central role in VR/AR immersion, virtual conferencing, sound design, and other interactive media. However, recent generative audio editing models depend on template-like instruction formats and are restricted to mono-channel audio. These models fail to deal with declarative audio editing, where the user declares what the desired outcome should be, while leaving the details of editing operations to the system. We introduce SmartDJ, a novel framework for stereo audio editing that combines the reasoning capability of audio language models with the generative power of latent diffusion. Given a high-level instruction, SmartDJ decomposes it into a sequence of atomic edit operations, such as adding, removing, or spatially relocating events. These operations are then executed by a diffusion model trained to manipulate stereo audio. To support this, we design a data synthesis pipeline that produces paired examples of high-level instructions, atomic edit operations, and audios before and after each edit operation. Experiments demonstrate that SmartDJ achieves superior perceptual quality, spatial realism, and semantic alignment compared to prior audio editing methods. Demos are available at https://zitonglan.github.io/project/smartdj/smartdj.html.
• Abstract（参考訳）: オーディオ編集は、VR/ARの没入、仮想会議、サウンドデザイン、その他のインタラクティブメディアにおいて中心的な役割を果たす。 しかし、最近の生成オーディオ編集モデルはテンプレートのような命令形式に依存しており、単チャンネルオーディオに限定されている。 これらのモデルは宣言的なオーディオ編集には対応せず、ユーザが望ましい結果を宣言し、操作の詳細はシステムに任せる。 ステレオ音声編集のための新しいフレームワークであるSmartDJを導入し,音声モデルの推論能力と潜時拡散の生成能力を組み合わせた。 高レベルの命令を与えられたSmartDJは、イベントの追加、削除、空間的移動などのアトミックな編集操作のシーケンスに分解する。 これらの操作はステレオオーディオを操作するために訓練された拡散モデルによって実行される。 これを支援するために、各編集操作前後に高レベルの命令、アトミックな編集操作、オーディオのペア例を生成するデータ合成パイプラインを設計する。 実験により,SmartDJは従来の音声編集法に比べて知覚品質,空間リアリズム,セマンティックアライメントに優れることが示された。 デモはhttps://zitonglan.github.io/project/smartdj/smartdj.htmlで公開されている。

関連論文リスト

• Schrodinger Audio-Visual Editor: Object-Level Audiovisual Removal [90.14887235360611]
  SAVEBenchは、テキストとマスク条件を備えたペアオーディオヴィジュアルデータセットで、オブジェクト指向のソース・ツー・ターゲット学習を可能にする。 SAVEにはSchrodinger Bridgeが組み込まれており、ソースからターゲットのオーディオヴィジュアルミックスへのダイレクトトランスポートを学習する。 評価の結果,提案したSAVEモデルは,残したコンテンツを保存しながら,音声・視覚コンテンツ中の対象オブジェクトを除去できることがわかった。
  論文  参考訳（メタデータ） (2025-12-14T23:19:15Z)
• Audio-sync Video Instance Editing with Granularity-Aware Mask Refiner [66.96392168346851]
  AVI-Editはオーディオ同期ビデオインスタンス編集のためのフレームワークである。 本稿では,粗いユーザ用マスクを精密なインスタンスレベル領域に反復的に洗練する,粒度対応マスク精製器を提案する。 我々はまた、高品質なオーディオガイダンスをキュレートし、きめ細かい時間制御を提供するセルフフィードバックオーディオエージェントを設計する。
  論文  参考訳（メタデータ） (2025-12-11T11:58:53Z)
• SAO-Instruct: Free-form Audio Editing using Natural Language Instructions [34.39865893999257]
  本稿では,任意の自然言語命令を用いて音声クリップを編集できるモデルSAO-Instructを紹介する。 本モデルでは,実機内での音声クリップや未表示の編集指示をうまく一般化する。 我々は,SAO-Instructが客観的な測定値の競合性能を達成し,主観的聴取実験において他の音声編集手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-10-26T18:57:16Z)
• Object-AVEdit: An Object-level Audio-Visual Editing Model [79.62095842136115]
  インバージョン再生パラダイムに基づくオブジェクトレベルの音声視覚編集を実現するtextbfObject-AVEditを提案する。 編集中のオブジェクトレベルの制御性を実現するために,単語から音声へのオブジェクトの一致した音声生成モデルを開発した。 より優れた構造情報保存とオブジェクトレベルの編集効果を実現するため,本アルゴリズムでは,倒立再生に最適化された編集アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-09-27T18:12:13Z)
• Audio Does Matter: Importance-Aware Multi-Granularity Fusion for Video Moment Retrieval [58.640807985155554]
  Video Moment Retrieval (VMR)は、特定のクエリに関連する特定のモーメントを検索することを目的としている。 既存のVMRメソッドの多くは、補完的ではあるが重要なオーディオのモダリティを無視しながら、視覚的およびテキスト的モダリティにのみ焦点をあてている。 本稿では,VMRの音声ビジョンコンテキストを動的かつ選択的に集約する,新しいImportance-Aware Multi-Granularity fusion Model (IMG)を提案する。
  論文  参考訳（メタデータ） (2025-08-06T09:58:43Z)
• ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editing [52.33281620699459]
  ThinkSoundは、Chain-of-Thought(CoT)推論を利用して、ビデオの段階的にインタラクティブなオーディオ生成と編集を可能にする新しいフレームワークである。 提案手法は,3つの相補的な段階に分解する: セマンティック・コヒーレント, 正確なユーザインタラクションによる対話型オブジェクト中心の洗練, 自然言語命令でガイドされたターゲット編集。 実験により、ThinkSoundはオーディオメトリクスとCoTメトリクスの両方で、ビデオからオーディオ生成における最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-06-26T16:32:06Z)
• Audio-Agent: Leveraging LLMs For Audio Generation, Editing and Composition [72.22243595269389]
  本稿では,テキストやビデオの入力に基づく音声生成,編集,合成のためのフレームワークであるAudio-Agentを紹介する。 提案手法では,事前学習したTTA拡散ネットワークを音声生成エージェントとして利用し,GPT-4でタンデムで動作させる。 VTA(Video-to-audio)タスクでは、既存のほとんどのメソッドは、生成されたオーディオとビデオイベントを同期させるタイムスタンプ検出器のトレーニングを必要とする。
  論文  参考訳（メタデータ） (2024-10-04T11:40:53Z)
• Prompt-guided Precise Audio Editing with Diffusion Models [36.29823730882074]
  PPAEは拡散モデルの汎用モジュールとして機能し、正確な音声編集を可能にする。 拡散モデルの相互アテンションマップを利用して、正確な局所的な編集を容易にし、階層的な局所的なパイプラインを用いてよりスムーズな編集プロセスを実現する。
  論文  参考訳（メタデータ） (2024-05-11T07:41:27Z)
• SyncFusion: Multimodal Onset-synchronized Video-to-Audio Foley Synthesis [9.118448725265669]
  音を設計する際に最も時間がかかるステップの1つは、音声とビデオの同期です。 ビデオゲームやアニメーションでは、参照音声は存在せず、ビデオからのイベントタイミングのマニュアルアノテーションを必要とする。 そこで本研究では,ビデオから繰り返し動作のオンセットを抽出し,新たな音効果音響トラックを生成するために訓練された拡散モデルの条件付けに用いるシステムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T18:01:36Z)
• WavJourney: Compositional Audio Creation with Large Language Models [38.39551216587242]
  We present WavJourney, a novel framework that leverages Large Language Models to connect various audio model for audio creation。 WavJourneyを使えば、ユーザーはテキストによる説明だけで様々なオーディオ要素でストーリーテリングオーディオコンテンツを作成できる。 We show that WavJourney are capable to synthesize real audio aligned with textual-description semantic, spatial and temporal conditions。
  論文  参考訳（メタデータ） (2023-07-26T17:54:04Z)
• AUDIT: Audio Editing by Following Instructions with Latent Diffusion Models [40.13710449689338]
  AUDITは遅延拡散モデルに基づく命令誘導音声編集モデルである。 複数のオーディオ編集タスクに対する客観的および主観的メトリクスの両面で、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-04-03T09:15:51Z)
• Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models [65.18102159618631]
  マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。 高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。 本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
  論文  参考訳（メタデータ） (2023-01-30T04:44:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。