論文の概要: Real-time Timbre Remapping with Differentiable DSP

• arxiv url: http://arxiv.org/abs/2407.04547v1
• Date: Fri, 5 Jul 2024 14:32:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 13:10:54.640081
• Title: Real-time Timbre Remapping with Differentiable DSP
• Title（参考訳）: 微分可能DSPを用いたリアルタイム音色リマッピング
• Authors: Jordie Shier, Charalampos Saitis, Andrew Robertson, Andrew McPherson,
• Abstract要約: 音色は様々な音楽的文脈における主要な表現様式である。 我々のアプローチは音色類似概念に基づいている。 ローランドTR-808をモデルとした音響スネアドラムから微分可能なシンセサイザーへのリアルタイムな音色リマッピングを実演する。
• 参考スコア（独自算出の注目度）: 1.3803836644947054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Timbre is a primary mode of expression in diverse musical contexts. However, prevalent audio-driven synthesis methods predominantly rely on pitch and loudness envelopes, effectively flattening timbral expression from the input. Our approach draws on the concept of timbre analogies and investigates how timbral expression from an input signal can be mapped onto controls for a synthesizer. Leveraging differentiable digital signal processing, our method facilitates direct optimization of synthesizer parameters through a novel feature difference loss. This loss function, designed to learn relative timbral differences between musical events, prioritizes the subtleties of graded timbre modulations within phrases, allowing for meaningful translations in a timbre space. Using snare drum performances as a case study, where timbral expression is central, we demonstrate real-time timbre remapping from acoustic snare drums to a differentiable synthesizer modeled after the Roland TR-808.
• Abstract（参考訳）: 音色は様々な音楽的文脈における主要な表現様式である。 しかし、一般的な音声駆動合成法は、主にピッチとラウドネスのエンベロープに依存し、入力から音節表現を効果的にフラットにする。 提案手法は,入力信号からの音節表現をシンセサイザーの制御系にどのようにマッピングするかを,音節類似の概念に基づいて検討する。 微分可能ディジタル信号処理を活用し,新しい特徴差分損失による合成器パラメータの直接最適化を容易にする。 この損失関数は、音楽イベント間の相対的な音節差を学習するために設計され、音節内の音節変調の微妙さを優先し、音節空間における意味のある翻訳を可能にする。 音節表現の中心となるスネアドラム演奏を事例として,ロランドTR-808をモデルとした音響スネアドラムから微分可能なシンセサイザーへのリアルタイム音色リマッピングを実演した。

関連論文リスト

• Robust AI-Synthesized Speech Detection Using Feature Decomposition Learning and Synthesizer Feature Augmentation [52.0893266767733]
  本稿では,特徴分解を利用して合成者非依存のコンテンツ特徴を学習する頑健なディープフェイク音声検出手法を提案する。 異なる合成器特性に対するモデルのロバスト性を高めるために,合成器の特徴増強戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-14T03:57:21Z)
• FM Tone Transfer with Envelope Learning [8.771755521263811]
  トーントランスファー(トーントランスファー)は、音源をシンセサイザーで対向させ、音楽の形式を保ちながら音の音色を変換する新しい技法である。 音の多様性の低さや、過渡的および動的レンダリングの制限に関連するいくつかの欠点があり、リアルタイムなパフォーマンスの文脈における調音やフレーズ化の可能性を妨げていると我々は信じている。
  論文  参考訳（メタデータ） (2023-10-07T14:03:25Z)
• Enhancing the vocal range of single-speaker singing voice synthesis with melody-unsupervised pre-training [82.94349771571642]
  本研究では, メロディ非教師型マルチスピーカ事前学習法を提案し, シングルスピーカの発声域を拡大する。 合成音声のリズム自然性を改善するために、識別可能な持続時間調整器を導入するのは、これが初めてである。 実験により,提案したSVSシステムは,音質と自然性の両方において,ベースラインよりも優れていることを確認した。
  論文  参考訳（メタデータ） (2023-09-01T06:40:41Z)
• Differentiable WORLD Synthesizer-based Neural Vocoder With Application To End-To-End Audio Style Transfer [6.29475963948119]
  本稿では,WORLDシンセサイザーを試作し,エンド・ツー・エンドのオーディオ・スタイル・トランスファー・タスクでの利用を実証する。 ベースライン微分可能シンセサイザーはモデルパラメータを持たないが、十分な品質合成が得られる。 別の微分可能なアプローチでは、ソーススペクトルの抽出を直接考慮し、自然性を改善することができる。
  論文  参考訳（メタデータ） (2022-08-15T15:48:36Z)
• Neural Waveshaping Synthesis [0.0]
  ニューラルオーディオ合成に対する,新しい,軽量で完全な因果的アプローチを提案する。 ニューラルウェーブシェイピングユニット(NEWT)は、波形領域で直接動作する。 入力信号と出力信号の単純なアフィン変換によって複雑な鼓膜進化を生成する。
  論文  参考訳（メタデータ） (2021-07-11T13:50:59Z)
• DiffSinger: Diffusion Acoustic Model for Singing Voice Synthesis [53.19363127760314]
  DiffSingerは、音楽スコアで調整されたメログラムにノイズを反復的に変換するパラメータ化されたマルコフチェーンです。 中国の歌唱データセットで行った評価は、DiffSingerが最先端のSVSワークを顕著な差で上回っていることを示している。
  論文  参考訳（メタデータ） (2021-05-06T05:21:42Z)
• Hierarchical Timbre-Painting and Articulation Generation [92.59388372914265]
  本稿では,f0と大音量に基づく高速かつ高忠実な楽曲生成手法を提案する。 合成音声は、対象楽器の音色及び調音を模倣する。
  論文  参考訳（メタデータ） (2020-08-30T05:27:39Z)
• Vector-Quantized Timbre Representation [53.828476137089325]
  本稿では, スペクトル特性の近似分解を生成的特徴の集合で学習することにより, 個々の音色をより柔軟に合成することを目的とする。 音量分布の量子化表現を学習するために、大音量から切り離された離散潜在空間を持つオートエンコーダを導入する。 オーケストラ楽器と歌唱音声間の音声の翻訳結果と、ボーカルの模倣音から楽器への変換結果について詳述する。
  論文  参考訳（メタデータ） (2020-07-13T12:35:45Z)
• VaPar Synth -- A Variational Parametric Model for Audio Synthesis [78.3405844354125]
  本稿では,条件付き変分オートエンコーダ(CVAE)を用いた変分パラメトリックシンセサイザVaPar Synthを提案する。 提案するモデルの性能は,ピッチを柔軟に制御した楽器音の再構成と生成によって実証する。
  論文  参考訳（メタデータ） (2020-03-30T16:05:47Z)
• TimbreTron: A WaveNet(CycleGAN(CQT(Audio))) Pipeline for Musical Timbre Transfer [34.02807083910344]
  音声信号の時間周波数表現に「画像」ドメインスタイルの転送を適用した音色伝達手法であるTimbreTronを紹介する。 定Q変換表現は、畳み込みアーキテクチャに特に適していることを示す。
  論文  参考訳（メタデータ） (2018-11-22T17:46:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。