論文の概要: Audio Texture Manipulation by Exemplar-Based Analogy

• arxiv url: http://arxiv.org/abs/2501.12385v1
• Date: Tue, 21 Jan 2025 18:58:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:19:27.554845
• Title: Audio Texture Manipulation by Exemplar-Based Analogy
• Title（参考訳）: Exemplar-based Analogy を用いたオーディオテクスチャマニピュレーション
• Authors: Kan Jen Cheng, Tingle Li, Gopala Anumanchipalli,
• Abstract要約: 音響テクスチャ操作のための模範的な類似モデルを提案する。 テキストベースの命令を条件付けする代わりに,ペア音声の例を用いる。 我々は,本モデルがテキスト条件ベースラインより優れているという評価と知覚的研究を通して示す。
• 参考スコア（独自算出の注目度）: 3.7209456282942734
• License:
• Abstract: Audio texture manipulation involves modifying the perceptual characteristics of a sound to achieve specific transformations, such as adding, removing, or replacing auditory elements. In this paper, we propose an exemplar-based analogy model for audio texture manipulation. Instead of conditioning on text-based instructions, our method uses paired speech examples, where one clip represents the original sound and another illustrates the desired transformation. The model learns to apply the same transformation to new input, allowing for the manipulation of sound textures. We construct a quadruplet dataset representing various editing tasks, and train a latent diffusion model in a self-supervised manner. We show through quantitative evaluations and perceptual studies that our model outperforms text-conditioned baselines and generalizes to real-world, out-of-distribution, and non-speech scenarios. Project page: https://berkeley-speech-group.github.io/audio-texture-analogy/
• Abstract（参考訳）: 音のテクスチャ操作は、聴覚要素の追加、除去、置換といった特定の変換を達成するために、音の知覚特性を変更することを含む。 本稿では,音のテクスチャ操作のための類似モデルを提案する。 テキストベースの指示を条件付けする代わりに,提案手法ではペア音声の例を用いて,1つのクリップが元の音を表現し,もう1つのクリップが所望の変換を表現している。 モデルは、新しい入力に同じ変換を適用することを学習し、音のテクスチャの操作を可能にする。 我々は,様々な編集作業を表す四重項データセットを構築し,自己教師型で潜伏拡散モデルを訓練する。 我々は,本モデルがテキスト条件付きベースラインより優れ,実世界,アウト・オブ・ディストリビューション,非音声シナリオに一般化するという定量的評価と知覚的研究を通して示す。 プロジェクトページ: https://berkeley-speech-group.github.io/audio-texture-analogy/

関連論文リスト

• TokenSplit: Using Discrete Speech Representations for Direct, Refined, and Transcript-Conditioned Speech Separation and Recognition [51.565319173790314]
  TokenSplit は Transformer アーキテクチャを使用するシーケンス・ツー・シーケンス・エンコーダ・デコーダモデルである。 また,本モデルでは,書き起こし条件付けの有無にかかわらず,分離の点で優れた性能を発揮することを示す。 また、自動音声認識(ASR)の性能を測定し、音声合成の音声サンプルを提供し、我々のモデルの有用性を実証する。
  論文  参考訳（メタデータ） (2023-08-21T01:52:01Z)
• Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models [64.14812728562596]
  本稿では,事前学習した音声駆動音声合成モデルをテキスト駆動で動作させる手法を提案する。 提供されたテキスト文を記述した顔ビデオを簡単に生成できる。
  論文  参考訳（メタデータ） (2023-06-28T08:22:53Z)
• CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models [50.42886595228255]
  本稿では,橋梁としての視覚的モダリティを活用して,所望のテキスト・オーディオ対応を学習することを提案する。 我々は、事前訓練されたコントラスト言語画像事前学習モデルによって符号化されたビデオフレームを考慮し、条件付き拡散モデルを用いてビデオの音声トラックを生成する。
  論文  参考訳（メタデータ） (2023-06-16T05:42:01Z)
• CLIPSep: Learning Text-queried Sound Separation with Noisy Unlabeled Videos [44.14061539284888]
  そこで本稿では,未ラベルデータのみを用いて,テキスト検索による普遍的音源分離手法を提案する。 提案したCLIPSepモデルは、まずコントラッシブ言語画像事前学習(CLIP)モデルを用いて、入力クエリをクエリベクトルにエンコードする。 モデルはラベルのないビデオから抽出した画像とオーディオのペアに基づいてトレーニングされるが、テスト時にはゼロショット設定でテキスト入力でモデルをクエリすることができる。
  論文  参考訳（メタデータ） (2022-12-14T07:21:45Z)
• Learning Visual Styles from Audio-Visual Associations [21.022027778790978]
  本稿では,未ラベル音声視覚データから視覚スタイルを学習する手法を提案する。 我々のモデルは音に合わせてシーンのテクスチャを操作することを学ぶ。 音声は画像を操作するための直感的な表現であることを示す。
  論文  参考訳（メタデータ） (2022-05-10T17:57:07Z)
• Sound-Guided Semantic Image Manipulation [19.01823634838526]
  本稿では,音を直接マルチモーダル(画像テキスト)埋め込み空間にエンコードし,空間から画像を操作するフレームワークを提案する。 提案手法は,様々なモダリティ,すなわちテキストとオーディオを混合し,画像修正の多様性を高める。 ゼロショット音声分類とセマンティックレベルの画像分類の実験により,提案手法が他のテキストや音声誘導手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-11-30T13:30:12Z)
• Using multiple reference audios and style embedding constraints for speech synthesis [68.62945852651383]
  提案モデルでは,複数の参照音声を用いて音声の自然さとコンテンツ品質を向上させることができる。 モデルは、スタイル類似性のABX選好テストにおいてベースラインモデルよりも優れている。
  論文  参考訳（メタデータ） (2021-10-09T04:24:29Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)
• What all do audio transformer models hear? Probing Acoustic Representations for Language Delivery and its Structure [64.54208910952651]
  オーディオトランスフォーマーモデル mockingjay と wave2vec2.0 を比較した。 音声モデルのテキスト表面、構文、および意味的特徴に対する理解を調査します。 ネイティブ、非ネイティブ、合成、読み取り、自発的な音声データセットの完全な設定でこれを行います。
  論文  参考訳（メタデータ） (2021-01-02T06:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。