論文の概要: PhysicsSliders: Learning Physical Controls for Audio Foley Generation
- arxiv url: http://arxiv.org/abs/2610.18597v1
- Date: Tue, 13 Oct 2026 15:53:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.664822
- Title: PhysicsSliders: Learning Physical Controls for Audio Foley Generation
- Title(参考訳): 物理スライダ:オーディオフォリー生成のための物理制御を学習する
- Abstract要約: 物理的特性は、相互作用する物体によって作られた音に対して直感的な制御を提供する。
本稿では,15の材料,幾何学および接触パラメータを用いた模擬接触音の訓練を行う。
個別に訓練された2つの変種は直接パラメータ入力または数値キャプションを受け入れる。
- 参考スコア(独自算出の注目度): 25.066781075667567
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Physical properties provide intuitive controls for sounds made by interacting objects. The challenge is to make a generative model respond predictably to these controls, both individually and in combination. We present \method\ (PXS), trained on simulated contact sounds with 15 material, geometry and contact parameters. Two separately trained variants accept direct parameter inputs or numerical captions. PXS controls hardness, size, speed and damping, supports room descriptions and produces spectrally distinct outputs at fixed targets. When controlling damping and size together, specifying thickness improves frequency accuracy and joint target delivery. Measurements from real recordings define effective-damping targets, which simulator inversion maps to generation inputs without real-audio fine-tuning. Across 18 impact classes from five real-audio datasets, PXS-Physical follows these targets with mean grouped Spearman correlation $ρ=0.976$ and class-median error 0.094 dex (a factor of 1.24).
- Abstract(参考訳): 物理的特性は、相互作用する物体によって作られた音に対して直感的な制御を提供する。
課題は、生成モデルをこれらのコントロールに対して、個別と組み合わせの両方で予測可能に応答させることである。
本稿では,15の材料,幾何学および接触パラメータを用いた模擬接触音を訓練した<method\ (PXS) について述べる。
個別に訓練された2つの変種は直接パラメータ入力または数値キャプションを受け入れる。
PXSは硬さ、サイズ、速度、減衰を制御し、部屋の記述をサポートし、固定されたターゲットでスペクトル的に異なる出力を生成する。
減衰と大きさを共に制御する際、周波数精度と関節ターゲットの納入が向上する。
実記録からの計測は、実音響の微調整を伴わずに、インバージョンマップから生成した入力をシミュレートする効果的な減衰目標を定義する。
PXS-Physicalは5つの実音響データセットから18のクラスにまたがって、これらのターゲットを平均的にグループ化されたスピアマン相関$ρ=0.976$とクラス中間誤差0.094dex(係数1.24)で従う。
関連論文リスト
- PhyAVBench: A Challenging Audio Physics-Sensitivity Benchmark for Physically Grounded Text-to-Audio-Video Generation [63.3417467957431]
テキスト・ツー・オーディオ・ビデオ(T2AV)生成は、現実的なオーディオ・ビジュアルコンテンツを要求する幅広いアプリケーションを支える。
我々は,既存のT2AVモデルの音波物理接地能力を評価するために設計された,難易度の高い音波物理感度ベンチマークであるPhyAVBenchを紹介する。
主に音声とビデオの同期に焦点を当てた以前のベンチマークとは異なり、PhyAVBenchは、音生成の基礎となる物理的メカニズムに対するモデルの理解を明確に評価している。
論文 参考訳(メタデータ) (2025-12-30T05:22:31Z) - PAVAS: Physics-Aware Video-to-Audio Synthesis [58.746986798623084]
本稿では、物理推論を潜伏拡散に基づくV2A生成に組み込む手法であるPAVAS(Physical-Aware Video-to-Audio Synthesis)を提案する。
PAVASは物理的に可塑性かつ知覚的にコヒーレントな音声を生成し、定量評価と定性評価の両方において既存のV2Aモデルより優れていることを示す。
論文 参考訳(メタデータ) (2025-12-09T06:28:50Z) - Text-Independent Speaker Identification Using Audio Looping With Margin Based Loss Functions [1.4524462132789562]
畳み込みニューラルネットワークアーキテクチャを用いたテキスト独立話者識別におけるCosFace LossとArcFace Lossの有効性を検討した。
モデル精度とロバスト性への影響を解析するために,両損失関数を実装する。
実験の結果,従来のSoftmax損失法と比較して同定精度が優れていた。
論文 参考訳(メタデータ) (2025-09-26T18:40:32Z) - Teaching Physical Awareness to LLMs through Sounds [2.5260091444764554]
ACORNは大規模言語モデル(LLM)の物理的認識を音で教えるフレームワークである。
我々は,包括的音声質問応答データセットであるAQA-PHYを構築し,大きさ情報と位相情報の両方を処理するオーディオエンコーダを提案する。
本研究では,視線検出,ドップラー効果推定,方向推定など,実世界の実世界の課題において合理的な結果を示す。
論文 参考訳(メタデータ) (2025-06-10T07:42:56Z) - Speech2UnifiedExpressions: Synchronous Synthesis of Co-Speech Affective Face and Body Expressions from Affordable Inputs [67.27840327499625]
本稿では,デジタル文字の表情と上半身ジェスチャーを同時に合成するマルチモーダル学習手法を提案する。
提案手法は, 映像データから直接推定される, まばらな顔のランドマークと上体関節から学習し, もっともらしい感情的性格運動を生成する。
論文 参考訳(メタデータ) (2024-06-26T04:53:11Z) - Speech Audio Synthesis from Tagged MRI and Non-Negative Matrix
Factorization via Plastic Transformer [11.91784203088159]
重み付けマップを対応する音声波形に変換するためのエンドツーエンドのディープラーニングフレームワークを開発する。
我々のフレームワークは、重み付けマップから音声音声波形を合成することができ、従来の畳み込みモデルやトランスフォーマーモデルよりも優れている。
論文 参考訳(メタデータ) (2023-09-26T00:21:17Z) - Anomalous Sound Detection using Audio Representation with Machine ID
based Contrastive Learning Pretraining [52.191658157204856]
コントラスト学習を用いて、各音声サンプルではなく、各機械IDの音声表現を洗練する。
提案手法では、コントラスト学習を用いて音声表現モデルを事前学習する。
実験の結果,本手法はコントラスト学習や自己教師型分類を用いて最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2023-04-07T11:08:31Z) - VaPar Synth -- A Variational Parametric Model for Audio Synthesis [78.3405844354125]
本稿では,条件付き変分オートエンコーダ(CVAE)を用いた変分パラメトリックシンセサイザVaPar Synthを提案する。
提案するモデルの性能は,ピッチを柔軟に制御した楽器音の再構成と生成によって実証する。
論文 参考訳(メタデータ) (2020-03-30T16:05:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。