論文の概要: Audio-Agent: Leveraging LLMs For Audio Generation, Editing and Composition

• arxiv url: http://arxiv.org/abs/2410.03335v2
• Date: Tue, 14 Jan 2025 11:59:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:25:57.797028
• Title: Audio-Agent: Leveraging LLMs For Audio Generation, Editing and Composition
• Title（参考訳）: Audio-Agent: オーディオ生成、編集、合成にLLMを活用する
• Authors: Zixuan Wang, Chi-Keung Tang, Yu-Wing Tai,
• Abstract要約: 本稿では,テキストやビデオの入力に基づく音声生成,編集,合成のためのフレームワークであるAudio-Agentを紹介する。 提案手法では,事前学習したTTA拡散ネットワークを音声生成エージェントとして利用し,GPT-4でタンデムで動作させる。 VTA(Video-to-audio)タスクでは、既存のほとんどのメソッドは、生成されたオーディオとビデオイベントを同期させるタイムスタンプ検出器のトレーニングを必要とする。
• 参考スコア（独自算出の注目度）: 72.22243595269389
• License:
• Abstract: We introduce Audio-Agent, a multimodal framework for audio generation, editing and composition based on text or video inputs. Conventional approaches for text-to-audio (TTA) tasks often make single-pass inferences from text descriptions. While straightforward, this design struggles to produce high-quality audio when given complex text conditions. In our method, we utilize a pre-trained TTA diffusion network as the audio generation agent to work in tandem with GPT-4, which decomposes the text condition into atomic, specific instructions and calls the agent for audio generation. In doing so, Audio-Agent can generate high-quality audio that is closely aligned with the provided text or video exhibiting complex and multiple events, while supporting variable-length and variable-volume generation. For video-to-audio (VTA) tasks, most existing methods require training a timestamp detector to synchronize video events with the generated audio, a process that can be tedious and time-consuming. Instead, we propose a simpler approach by fine-tuning a pre-trained Large Language Model (LLM), e.g., Gemma2-2B-it, to obtain both semantic and temporal conditions that bridge the video and audio modality. Consequently, our framework contributes a comprehensive solution for both TTA and VTA tasks without substantial computational overhead in training.
• Abstract（参考訳）: 本稿では,テキストやビデオの入力に基づく音声生成,編集,合成のためのマルチモーダルフレームワークであるAudio-Agentを紹介する。 従来のTTA(text-to-audio)タスクのアプローチは、テキスト記述からシングルパス推論を行うことが多い。 しかし、このデザインは複雑なテキスト条件が与えられた場合、高品質なオーディオを作り出すのに苦労している。 本手法では,事前学習したTTA拡散ネットワークを音声生成エージェントとして利用し,テキスト条件をアトミックな特定の命令に分解し,音声生成のためにエージェントを呼び出す。 そうすることで、Audio-Agentは、可変長および可変ボリューム生成をサポートしながら、複雑で複数のイベントを示す提供されるテキストやビデオと密に一致した高品質なオーディオを生成することができる。 VTA(Video-to-audio)タスクでは、既存のほとんどの手法では、ビデオイベントと生成されたオーディオを同期させるタイムスタンプ検出器をトレーニングする必要がある。 その代わりに、ビデオとオーディオのモダリティを橋渡しする意味的条件と時間的条件の両方を得るために、事前訓練されたLarge Language Model (LLM)、例えばGemma2-2B-itを微調整することで、よりシンプルなアプローチを提案する。 したがって,本フレームワークは,TTAタスクとVTAタスクの両方に対して,トレーニングにおいてかなりの計算オーバーヘッドを伴わない包括的ソリューションを提供する。

関連論文リスト

• VinTAGe: Joint Video and Text Conditioning for Holistic Audio Generation [27.9571263633586]
  本稿では,VinTAGeについて紹介する。VinTAGeは,テキストと動画を共同で検討し,音声生成のガイドを行うフローベーストランスフォーマーモデルである。 私たちのフレームワークは、Visual-TextとJoint VT-SiTモデルという2つの重要なコンポーネントで構成されています。 VinTAGe-Benchは、636対のビデオテキストとオーディオのデータセットで、オンスクリーンとオフスクリーンの両方の音が含まれている。
  論文  参考訳（メタデータ） (2024-12-14T09:36:10Z)
• Tell What You Hear From What You See -- Video to Audio Generation Through Text [17.95017332858846]
  VATTは、ビデオとオプションのテキストプロンプトを入力として取り、オーディオとオプションのテキスト記述を生成するマルチモーダル生成フレームワークである。 VATTは、音声キャプションを通じてビデオのテキストプロンプトを推奨するだけでなく、テキストによる制御可能なビデオ音声生成を可能にする。
  論文  参考訳（メタデータ） (2024-11-08T16:29:07Z)
• C3LLM: Conditional Multimodal Content Generation Using Large Language Models [66.11184017840688]
  C3LLMは,ビデオ・トゥ・オーディオ,音声・テキスト,テキスト・トゥ・オーディオの3つのタスクを組み合わせた新しいフレームワークである。 C3LLMはLarge Language Model (LLM) 構造を異なるモダリティを整列するためのブリッジとして適合させる。 本手法は,従来の音声理解,ビデオ音声生成,テキスト音声生成のタスクを1つの統一モデルに統合する。
  論文  参考訳（メタデータ） (2024-05-25T09:10:12Z)
• Text-to-Audio Generation Synchronized with Videos [44.848393652233796]
  我々は,T2AV-Benchというビデオと連携したテキスト・ツー・オーディオ生成のための画期的なベンチマークを提案する。 また,ビデオアライメントTTA生成モデル,すなわちT2AVを提案する。 ビデオデータから時間的ニュアンスを抽出し、理解するために、時間的マルチヘッドアテンショントランスフォーマーを使用します。
  論文  参考訳（メタデータ） (2024-03-08T22:27:38Z)
• Auto-ACD: A Large-scale Dataset for Audio-Language Representation Learning [50.28566759231076]
  高品質なキャプションを持つ音声データセットを構築するための,革新的で自動的なアプローチを提案する。 具体的には、150万以上のオーディオテキストペアからなる、大規模で高品質なオーディオ言語データセットをAuto-ACDとして構築する。 我々はLLMを用いて,抽出したマルチモーダルな手がかりによって導かれる,各音声の連接キャプションを言い換える。
  論文  参考訳（メタデータ） (2023-09-20T17:59:32Z)
• Retrieval-Augmented Text-to-Audio Generation [36.328134891428085]
  本稿では,AudioLDMのような最先端モデルが,その世代性能に偏っていることを示す。 本稿では,TTAモデルに対する単純な検索拡張手法を提案する。 Re-AudioLDMは、複雑なシーン、稀なオーディオクラス、さらには目に見えないオーディオタイプに対して、現実的なオーディオを生成することができる。
  論文  参考訳（メタデータ） (2023-09-14T22:35:39Z)
• Exploring the Role of Audio in Video Captioning [59.679122191706426]
  本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。 本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
  論文  参考訳（メタデータ） (2023-06-21T20:54:52Z)
• CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models [50.42886595228255]
  本稿では,橋梁としての視覚的モダリティを活用して,所望のテキスト・オーディオ対応を学習することを提案する。 我々は、事前訓練されたコントラスト言語画像事前学習モデルによって符号化されたビデオフレームを考慮し、条件付き拡散モデルを用いてビデオの音声トラックを生成する。
  論文  参考訳（メタデータ） (2023-06-16T05:42:01Z)
• AudioGen: Textually Guided Audio Generation [116.57006301417306]
  記述文キャプションに条件付き音声サンプルを生成する問題に対処する。 本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
  論文  参考訳（メタデータ） (2022-09-30T10:17:05Z)
• Self-Supervised Audio-and-Text Pre-training with Extremely Low-Resource Parallel Data [15.658471125219224]
  音声とテキストのマルチモーダル事前学習は有効であることが証明され、ダウンストリーム音声理解タスクの性能が大幅に向上した。 しかし、これらの最先端の訓練済みオーディオテキストモデルは、大量の並列オーディオとテキストデータを提供する場合にのみ、うまく機能する。 本稿では,低リソース並列データを用いた音声テキストモデルの事前学習が可能かどうかを検討する。
  論文  参考訳（メタデータ） (2022-04-10T10:25:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。