論文の概要: Mono-to-stereo through parametric stereo generation

• arxiv url: http://arxiv.org/abs/2306.14647v1
• Date: Mon, 26 Jun 2023 12:33:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 13:35:43.228766
• Title: Mono-to-stereo through parametric stereo generation
• Title（参考訳）: パラメトリックステレオ生成によるモノ・ステレオ
• Authors: Joan Serr\`a, Davide Scaini, Santiago Pascual, Daniel Arteaga, Jordi Pons, Jeroen Breebaart, Giulio Cengarle
• Abstract要約: パラメトリックステレオパラメータの予測によりモノをステレオに変換することを提案する。 また,PSと組み合わせることで,生成的アプローチによるタスクのモデル化も提案する。 提案したPSモデルが競合する古典的デコレーションベースラインより優れていることを示す。
• 参考スコア（独自算出の注目度）: 21.502860265488216
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating a stereophonic presentation from a monophonic audio signal is a challenging open task, especially if the goal is to obtain a realistic spatial imaging with a specific panning of sound elements. In this work, we propose to convert mono to stereo by means of predicting parametric stereo (PS) parameters using both nearest neighbor and deep network approaches. In combination with PS, we also propose to model the task with generative approaches, allowing to synthesize multiple and equally-plausible stereo renditions from the same mono signal. To achieve this, we consider both autoregressive and masked token modelling approaches. We provide evidence that the proposed PS-based models outperform a competitive classical decorrelation baseline and that, within a PS prediction framework, modern generative models outshine equivalent non-generative counterparts. Overall, our work positions both PS and generative modelling as strong and appealing methodologies for mono-to-stereo upmixing. A discussion of the limitations of these approaches is also provided.
• Abstract（参考訳）: 単音の音声信号からステレオ音声の提示を生成することは、特に音響要素の特定のパニングによる現実的な空間画像を得ることが目的であれば、難しい課題である。 本研究では,近接型と深層ネットワークを用いたパラメトリックステレオ(ps)パラメータの予測により,モノをステレオに変換する手法を提案する。 また,PSと組み合わせて生成的アプローチでタスクをモデル化し,同じモノ信号から複数かつ等値なステレオリフレクションを合成する手法を提案する。 これを実現するために、自動回帰とマスク付きトークンモデリングの両方のアプローチを検討する。 提案したPSモデルが競合する古典的デコレーションベースラインより優れており、PS予測フレームワークにおいて、現代の生成モデルは同等の非生成モデルよりも優れていることを示す。 本研究はPSと生成モデルの両方をモノ・ステレオ・アップミックスの強靭で魅力的な手法として位置づけた。 これらのアプローチの限界に関する議論も提供されている。

関連論文リスト

• Both Ears Wide Open: Towards Language-Driven Spatial Audio Generation [32.24603883810094]
  ステレオオーディオを空間的コンテキストで制御することは、高いデータコストと不安定な生成モデルのために依然として困難である。 まず, 大規模・シミュレーションベース・GPT支援型データセットBEWO-1Mを構築し, 移動・複数音源を含む豊富な音環境と記述を行った。 空間誘導を利用して,テキストや画像から没入型かつ制御可能な空間オーディオを生成する。
  論文  参考訳（メタデータ） (2024-10-14T16:18:29Z)
• MaDis-Stereo: Enhanced Stereo Matching via Distilled Masked Image Modeling [18.02254687807291]
  近年、トランスフォーマーベースのステレオモデルが研究されており、ステレオマッチングタスクに固有のデータ不足が原因で、CNNベースのステレオモデルよりも性能が遅れている。 本研究では,Masked Image Modeling Distilled Stereo matching model(MaDis-Stereo)を提案する。
  論文  参考訳（メタデータ） (2024-09-04T16:17:45Z)
• StereoDiffusion: Training-Free Stereo Image Generation Using Latent Diffusion Models [2.9260206957981167]
  StereoDiffusionを紹介します。これは、無償でトレーニングし、驚くほど簡単に使用でき、元のStable Diffusionモデルにシームレスに統合する手法です。 提案手法は,ステレオ画像ペアを高速に生成するためのエンドツーエンドで軽量な機能を実現するために潜時変数を変更する。 提案手法はステレオ生成プロセスを通じて画像品質の基準を高く維持し,様々な定量的評価を行う。
  論文  参考訳（メタデータ） (2024-03-08T00:30:25Z)
• Resource-constrained stereo singing voice cancellation [1.0962868591006976]
  ステレオ歌唱音声キャンセリングの問題点について検討する。 提案手法は,客観的なオフラインメトリクスと大規模MUSHRA試験を用いて評価する。
  論文  参考訳（メタデータ） (2024-01-22T16:05:30Z)
• High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models [56.00939852727501]
  最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。 非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
  論文  参考訳（メタデータ） (2023-09-27T09:27:03Z)
• From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion [84.138804145918]
  深層生成モデルは、様々な種類の表現で条件付けられた高忠実度オーディオを生成することができる。 これらのモデルは、条件付けに欠陥がある場合や不完全な場合、可聴アーチファクトを生成する傾向がある。 低ビットレート離散表現から任意の種類のオーディオモダリティを生成する高忠実度マルチバンド拡散ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-02T22:14:29Z)
• Single-View View Synthesis with Self-Rectified Pseudo-Stereo [49.946151180828465]
  疑似ステレオ視点を生成する前に、信頼性と明示的なステレオを利用する。 本稿では,自己修正ステレオ合成法を提案する。 本手法は,最先端の単一ビュービュー合成法およびステレオ合成法より優れる。
  論文  参考訳（メタデータ） (2023-04-19T09:36:13Z)
• Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
  本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。 本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。 主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
  論文  参考訳（メタデータ） (2020-09-06T13:01:06Z)
• Unsupervised Cross-Domain Singing Voice Conversion [105.1021715879586]
  任意の同一性から音声変換を行うタスクに対して,wav-to-wav生成モデルを提案する。 提案手法は,自動音声認識のタスクのために訓練された音響モデルとメロディ抽出機能の両方を用いて波形ベースジェネレータを駆動する。
  論文  参考訳（メタデータ） (2020-08-06T18:29:11Z)
• VaPar Synth -- A Variational Parametric Model for Audio Synthesis [78.3405844354125]
  本稿では,条件付き変分オートエンコーダ(CVAE)を用いた変分パラメトリックシンセサイザVaPar Synthを提案する。 提案するモデルの性能は,ピッチを柔軟に制御した楽器音の再構成と生成によって実証する。
  論文  参考訳（メタデータ） (2020-03-30T16:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。