論文の概要: From Physics to Representation: Audio Learning with Synthetic Pre-training via Procedural Generation

• arxiv url: http://arxiv.org/abs/2606.14791v1
• Date: Thu, 11 Jun 2026 06:56:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.159014
• Title: From Physics to Representation: Audio Learning with Synthetic Pre-training via Procedural Generation
• Title（参考訳）: 物理から表現へ:手続き生成による合成事前学習によるオーディオ学習
• Authors: Fengrui Liu, Ruiyang Huang, Qijian Zheng, Yuanfang Wang, Feng Liu,
• Abstract要約: 本稿では,事前学習中に実際の録音を除去する手続き合成フレームワークであるAudioPGを提案する。 AudioPGはトランスフォーマーベースのマスク付きオートエンコーダを基本音響プリミティブと合成規則からオンザフライで生成された波形で訓練する。 ESC-50では90.60%、FSD50Kでは0.546 mAP、UrbanSound8Kでは88.17%、音声コマンドV2では97.03%の精度を達成している。
• 参考スコア（独自算出の注目度）: 6.875542527272934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning advances audio representation for multimedia analysis. However, prevailing data-centric approaches rely on massive real-world corpora, increasing training costs, curation burdens, and privacy barriers. To address this, we present AudioPG, a procedural synthesis framework eliminating real audio recordings during pre-training. AudioPG trains a Transformer-based masked autoencoder on waveforms generated on-the-fly from basic acoustic primitives and composition rules. The encoder transfers effectively to real audio benchmarks, achieving 90.60% accuracy on ESC-50, 0.546 mAP on FSD50K, 88.17% on UrbanSound8K, and 97.03% on Speech Commands V2. Notably, pre-training completes in under 20 minutes on a single GPU. Latent space analysis reveals physical factors, including fundamental frequency and relative intensity, emerge in orthogonal subspaces, making representations linearly decodable. These results establish procedural synthesis as an efficient, interpretable pre-training signal when large-scale corpora are unavailable. Our code is available at: https://github.com/Freyliu0516/audioPG.
• Abstract（参考訳）: 自己教師付き学習は、マルチメディア分析のための音声表現を進化させる。 しかし、一般的なデータ中心のアプローチは、大規模な現実世界のコーパス、トレーニングコストの増加、キュレーションの負担、プライバシー障壁に依存している。 そこで本研究では,事前学習中に実際の録音を除去する手続き合成フレームワークであるAudioPGを提案する。 AudioPGはトランスフォーマーベースのマスク付きオートエンコーダを基本音響プリミティブと合成規則からオンザフライで生成された波形で訓練する。 ESC-50では90.60%、FSD50Kでは0.546 mAP、UrbanSound8Kでは88.17%、音声コマンドV2では97.03%の精度を達成している。 特に、事前トレーニングは1つのGPU上で20分以内で完了する。 潜在空間解析は、基本周波数や相対強度を含む物理的因子が直交部分空間に現れ、表現を線形に退化可能とする。 これらの結果は、大規模コーパスが利用できない場合、手続き合成を効率的かつ解釈可能な事前学習信号として確立する。 私たちのコードは、https://github.com/Freyliu0516/audioPGで利用可能です。

関連論文リスト

• BareWave: Waveform-Native Flow-Matching Text-to-Speech [76.5390412686083]
  フローマッチングTTSにおける直接テキスト・ツー・ウェーブ生成のための,完全な波形ネイティブフレームワークであるBareWaveを提案する。 我々は、トレーニング時表現アライメント、ステージドノイズスケジューリング、速度認識の知覚アライメントを組み合わせたダイレクトテキスト・ツー・ウェーブ・トレーニング・フレームワークを開発した。 ゼロショット音声クローニングの実験では、完全な波形ネイティブな推論パスの下で、強い知性、話者類似性、自然性が達成できることが示されている。
  論文  参考訳（メタデータ） (2026-06-08T05:36:42Z)
• AudioMosaic: Contrastive Masked Audio Representation Learning [53.52371029884106]
  一般的な音声理解のためのコントラスト学習型オーディオエンコーダであるtextbfAudioMosaic を紹介する。 AudioMosaicは、構造化された時間周波数マスキングをスペクトログラムパッチに適用することで、正のペアを構成する。 実験によると、AudioMosaicはいくつかの標準オーディオベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-14T00:56:51Z)
• Representation-Regularized Convolutional Audio Transformer for Audio Understanding [53.092757178419355]
  スクラッチからのブートストラップ表現は計算に高価で、しばしば収束するために広範囲のトレーニングを必要とします。 本稿では,これらの課題に対処するための統合フレームワークであるConvolutional Audio Transformer (CAT)を提案する。
  論文  参考訳（メタデータ） (2026-01-29T12:16:19Z)
• End-to-end Audio Deepfake Detection from RAW Waveforms: a RawNet-Based Approach with Cross-Dataset Evaluation [8.11594945165255]
  生波形を直接操作するオーディオディープフェイク検出のためのエンドツーエンドのディープラーニングフレームワークを提案する。 我々のモデルであるRawNetLiteは、手作りの事前処理なしでスペクトルと時間の両方の特徴を捉えるために設計された軽量な畳み込み並列アーキテクチャである。
  論文  参考訳（メタデータ） (2025-04-29T16:38:23Z)
• Large-scale unsupervised audio pre-training for video-to-speech synthesis [64.86087257004883]
  音声合成は、話者の無声映像から音声信号を再構成する作業である。 本稿では,24kHzで3,500時間以上のオーディオデータをエンコーダ・デコーダモデルでトレーニングすることを提案する。 次に、事前学習したデコーダを用いて、音声合成タスクの音声デコーダを初期化する。
  論文  参考訳（メタデータ） (2023-06-27T13:31:33Z)
• High Fidelity Neural Audio Compression [92.4812002532009]
  我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。 ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。 単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
  論文  参考訳（メタデータ） (2022-10-24T17:52:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。