Fugu-MT 論文翻訳(概要): Rigid-Body Sound Synthesis with Differentiable Modal Resonators

論文の概要: Rigid-Body Sound Synthesis with Differentiable Modal Resonators

arxiv url: http://arxiv.org/abs/2210.15306v2
Date: Fri, 28 Oct 2022 11:47:41 GMT
ステータス: 処理完了
システム内更新日: 2022-10-31 12:52:27.681479
Title: Rigid-Body Sound Synthesis with Differentiable Modal Resonators
Title（参考訳）: 可変モード共振器を用いた剛体音合成
Authors: Rodrigo Diaz, Ben Hayes, Charalampos Saitis, Gy\"orgy Fazekas, Mark Sandler
Abstract要約: 本稿では,深層ニューラルネットワークを訓練し,与えられた2次元形状と材料に対するモーダル共振器を生成するための,新しいエンドツーエンドフレームワークを提案する。合成対象のデータセット上で本手法を実証するが,音声領域の目的を用いてモデルを訓練する。
参考スコア（独自算出の注目度）: 6.680437329908454
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Physical models of rigid bodies are used for sound synthesis in applications from virtual environments to music production. Traditional methods such as modal synthesis often rely on computationally expensive numerical solvers, while recent deep learning approaches are limited by post-processing of their results. In this work we present a novel end-to-end framework for training a deep neural network to generate modal resonators for a given 2D shape and material, using a bank of differentiable IIR filters. We demonstrate our method on a dataset of synthetic objects, but train our model using an audio-domain objective, paving the way for physically-informed synthesisers to be learned directly from recordings of real-world objects.
Abstract（参考訳）: 剛体の物理モデルは、仮想環境から音楽制作への応用における音合成に使用される。モーダル合成のような伝統的な手法は計算コストの高い数値解法に依存することが多いが、最近のディープラーニングのアプローチは結果の処理後に限られている。本研究は, 深層ニューラルネットワークを訓練し, 微分可能なIIRフィルタのバンクを用いて, 所定の2次元形状と材料に対してモーダル共振器を生成するための新しいエンドツーエンドフレームワークを提案する。本手法を合成オブジェクトのデータセット上で実証するが,オーディオドメインの目的を用いてモデルをトレーニングし,実世界のオブジェクトの記録から物理的に変形したシンセサイザーを直接学習する方法を提案する。

関連論文リスト

Differentiable Modal Synthesis for Physical Modeling of Planar String Sound and Motion Simulation [17.03776191787701]
非線形弦の運動特性をシミュレーションする新しいモデルを提案する。我々は物理ネットワークフレームワークにモーダル合成とスペクトルモデリングを統合する。経験的評価は、弦運動シミュレーションにおいて、アーキテクチャが優れた精度を達成することを示す。
論文参考訳（メタデータ） (2024-07-07T23:36:51Z)
AV-GS: Learning Material and Geometry Aware Priors for Novel View Acoustic Synthesis [62.33446681243413]
ビュー音響合成は、音源が3Dシーンで出力するモノのオーディオを考慮し、任意の視点でオーディオを描画することを目的としている。既存の手法では、音声合成の条件として視覚的手がかりを利用するため、NeRFベースの暗黙モデルが提案されている。本研究では,シーン環境全体を特徴付ける新しいオーディオ・ビジュアル・ガウス・スプレイティング(AV-GS)モデルを提案する。 AV-GSが実世界のRWASやシミュレーションベースのSoundSpacesデータセットの既存の代替品よりも優れていることを検証する。
論文参考訳（メタデータ） (2024-06-13T08:34:12Z)
Contrastive Learning from Synthetic Audio Doppelgangers [1.3754952818114714]
合成音声を利用したデータスケールと変換の制限に対する解決策を提案する。音声合成器のパラメータをランダムに摂動することで、音色、ピッチ、時間的エンベロープの因果的に操作された変化を持つオーディオ・ドッペルグ・アンガー合成正ペアを生成する。ランダムに生成された合成データへのシフトにもかかわらず,本手法は,標準音声分類ベンチマークにおける実データと競合する強力な表現を生成する。
論文参考訳（メタデータ） (2024-06-09T21:44:06Z)
Real Acoustic Fields: An Audio-Visual Room Acoustics Dataset and Benchmark [65.79402756995084]
Real Acoustic Fields (RAF)は、複数のモードから実際の音響室データをキャプチャする新しいデータセットである。 RAFは密集した室内音響データを提供する最初のデータセットである。
論文参考訳（メタデータ） (2024-03-27T17:59:56Z)
Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
論文参考訳（メタデータ） (2023-03-17T12:55:22Z)
Synthetic Wave-Geometric Impulse Responses for Improved Speech Dereverberation [69.1351513309953]
室内インパルス応答 (RIR) の低周波成分を正確にシミュレートすることが, 良好な脱ヴァーベレーションを実現する上で重要であることを示す。本研究では, ハイブリッド合成RIRで訓練された音声残響モデルが, 従来の幾何線トレーシング法により学習されたRIRで訓練されたモデルよりも優れていたことを示す。
論文参考訳（メタデータ） (2022-12-10T20:15:23Z)
Audio representations for deep learning in sound synthesis: A review [0.0]
本稿では,ディープラーニングを用いた音声合成に応用した音声表現の概要について述べる。また、深層学習モデルを用いた音声合成アーキテクチャの開発と評価のための最も重要な手法も提示する。
論文参考訳（メタデータ） (2022-01-07T15:08:47Z)
Learning to Segment Human Body Parts with Synthetically Trained Deep Convolutional Networks [58.0240970093372]
本稿では,合成データのみを用いて学習した深部畳み込みニューラルネットワークに基づく人体部分分割のための新しい枠組みを提案する。提案手法は,人体部品の実際の注釈付きデータを用いてモデルを訓練することなく,最先端の結果が得られる。
論文参考訳（メタデータ） (2021-02-02T12:26:50Z)
MTCRNN: A multi-scale RNN for directed audio texture synthesis [0.0]
本稿では,異なる抽象レベルで訓練された繰り返しニューラルネットワークと,ユーザ指向の合成を可能にする条件付け戦略を組み合わせたテクスチャのモデリング手法を提案する。モデルの性能を様々なデータセットで実証し、その性能を様々なメトリクスで検証し、潜在的なアプリケーションについて議論する。
論文参考訳（メタデータ） (2020-11-25T09:13:53Z)
Deep generative models for musical audio synthesis [0.0]
音響モデリングは、パラメトリック制御の下で音を生成するアルゴリズムを開発するプロセスである。音声合成のための最近の生成的深層学習システムは、任意の音空間を横切ることができるモデルを学習することができる。本稿では,音響モデリングの実践を変える深層学習の展開を概観する。
論文参考訳（メタデータ） (2020-06-10T04:02:42Z)
VaPar Synth -- A Variational Parametric Model for Audio Synthesis [78.3405844354125]
本稿では,条件付き変分オートエンコーダ(CVAE)を用いた変分パラメトリックシンセサイザVaPar Synthを提案する。提案するモデルの性能は,ピッチを柔軟に制御した楽器音の再構成と生成によって実証する。
論文参考訳（メタデータ） (2020-03-30T16:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。