論文の概要: AudioFM: Towards General Purpose Audio Representation Learning

• arxiv url: http://arxiv.org/abs/2610.34183v1
• Date: Sun, 25 Oct 2026 09:35:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.553512
• Title: AudioFM: Towards General Purpose Audio Representation Learning
• Title（参考訳）: AudioFM: 汎用的な音声表現学習を目指して
• Abstract要約: AudioFMは、大域的な音環境を微細な音響モーメントでブリッジするための自己教師型フレームワークである。 線形探索、微調整、ゼロショット転送において、様々なオーディオ領域にまたがる最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 26.055020114075834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning audio representations that effectively bridge holistic global soundscapes with fine-grained acoustic moments is a long-standing goal in self-supervised learning. Recording-level contrastive objectives encourage agreement between pooled audio representations, but do not explicitly supervise local time-frequency representations. We introduce AudioFM, a self-supervised framework that combines recording-level contrast with patch-wise masked latent discrimination. Using visible acoustic context, a student predicts representations of masked patches and identifies their corresponding full-view teacher targets among candidates from other recordings. We further incorporate weaker supervision from eligible temporal neighbors to encourage local temporal consistency. Extensive evaluations show that AudioFM achieves state-of-the-art performance across diverse audio domains in linear probing, fine-tuning, and zero-shot transfer, demonstrating superior event detection, robust scene-level understanding, and strong domain generalizability.
• Abstract（参考訳）: 総合的なグローバルな音環境を微粒な音響モーメントで効果的に橋渡しする音声表現の学習は、自己教師型学習における長年の目標である。 記録レベルのコントラッシブな目的は、プールされた音声表現間の合意を促進するが、局所的な時間周波数表現を明示的に監督しない。 本稿では,記録レベルのコントラストとパッチワイドマスクによる潜時識別を組み合わせた自己教師型フレームワークであるAudioFMを紹介する。 可視的音響コンテキストを用いて、学生はマスクされたパッチの表現を予測し、他の録音から候補者の中から対応するフルビューの教師ターゲットを識別する。 さらに、局所的な時間的一貫性を促進するために、適当な時間的隣人からのより弱い監督を取り入れます。 大規模な評価では、AudioFMは、線形探索、微調整、ゼロショット転送において様々なオーディオ領域で最先端のパフォーマンスを達成し、優れたイベント検出、堅牢なシーンレベルの理解、強力なドメインの一般化性を実証している。

関連論文リスト

• PAGE: Parts-Aware Guidance for Co-Speech Gesture Portrait Video Generation [91.13599273651744]
  共同音声ジェスチャービデオ生成は、単一の参照画像と音声信号からリアルで音声駆動のポートレートビデオを合成することを目的としている。 PAGE(Parts-Aware GuidancE)は,局所的な空間的忠実度とグローバルな音声・視覚的整合性を高める拡散型生成のためのフレームワークである。 大規模評価を実現するため,共同音声合成のための中国初の総合ベンチマークである中国語アナウンサー音声データセットを構築した。
  論文  参考訳（メタデータ） (2026-10-09T09:48:12Z)
• AudioMosaic: Contrastive Masked Audio Representation Learning [53.52371029884106]
  一般的な音声理解のためのコントラスト学習型オーディオエンコーダであるtextbfAudioMosaic を紹介する。 AudioMosaicは、構造化された時間周波数マスキングをスペクトログラムパッチに適用することで、正のペアを構成する。 実験によると、AudioMosaicはいくつかの標準オーディオベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-14T00:56:51Z)
• Teacher-Guided Pseudo Supervision and Cross-Modal Alignment for Audio-Visual Video Parsing [26.317163478761916]
  弱教師付き音声視覚ビデオ解析は、時間的アノテーションを使わずに、可聴性、可視性、および音声視覚イベントを検出する。 本稿では,信頼度の高いセグメントレベルのマスクを生成する指数移動平均(EMA)誘導擬似監視フレームワークを提案する。 また,クラス対応のクロスモーダル・アグリーメント(CMA)の損失も提案する。
  論文  参考訳（メタデータ） (2025-09-17T15:38:05Z)
• CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment [76.32508013503653]
  CAV-MAE Sync は,自己教師型音声視覚学習のためのオリジナルの CAV-MAE フレームワークの簡易かつ効果的な拡張として提案する。 音声をグローバルな表現ではなく,映像フレームに整合した時間的シーケンスとして扱うことで,モダリティ間のミスマッチに対処する。 パッチトークンのセマンティック負荷を低減するための学習可能なレジスタトークンを導入することにより,空間的ローカライゼーションを改善する。
  論文  参考訳（メタデータ） (2025-05-02T12:59:58Z)
• Robust Audio-Visual Segmentation via Audio-Guided Visual Convergent Alignment [26.399212357764576]
  音声-視覚的手がかりに基づく聴覚オブジェクトの正確な位置決めは、音声-視覚的セグメンテーションの中核的な目的である。 本稿では,AMAモジュールとUEモジュールの2つの主要コンポーネントを持つ新しいフレームワークを提案する。 AMAは、複数のグループ内で音声と視覚の相互作用を実行し、オーディオキューに対する応答性に基づいて、グループ機能をコンパクトな表現に集約する。 UEは空間情報と時間情報を統合し、音状態の頻繁な変化に起因する高不確かさ領域を識別する。
  論文  参考訳（メタデータ） (2025-03-17T05:48:22Z)
• The Impact of Spatiotemporal Augmentations on Self-Supervised Audiovisual Representation Learning [2.28438857884398]
  ラベルなしビデオから音声視覚表現を学習するための対照的な枠組みを提案する。 ビデオの時間的コヒーレンシーを損なわない損失時間変換が最も効果的であることがわかった。 サンプリングベース時間拡張のみで事前訓練された自己教師モデルと比較して、時間拡張で事前訓練された自己教師モデルは、データセットAVE上での線形性能が約6.5%向上する。
  論文  参考訳（メタデータ） (2021-10-13T23:48:58Z)
• Cross-Modal Attention Consistency for Video-Audio Unsupervised Learning [141.38505371646482]
  クロスモーダル相関は、ビデオ教師なし表現学習に固有の監督を提供する。 本稿では,双方向の局所通信特性を探索するために,CMAC(Cross-Modal Attention Consistency)というプレテキストタスクを導入する。 CMACは、視覚信号から純粋に発生する局所的注意と、音響信号の誘導の下で発生する対象的注意とを一致させることを目的としている。
  論文  参考訳（メタデータ） (2021-06-13T07:41:15Z)
• Self-Supervised Learning from Automatically Separated Sound Scenes [38.71803524843168]
  本稿では,教師なしの自動音声分離を用いてラベルなし音声シーンを意味的にリンクされたビューに分解する。 入力混合物と自動的に分離された出力を関連付ける学習は、過去のアプローチよりも強い表現を生み出す。
  論文  参考訳（メタデータ） (2021-05-05T15:37:17Z)
• Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision [63.564385139097624]
  生音声波形から自己教師付き音声表現を学習する手法を提案する。 音声のみの自己スーパービジョン(情報的音響属性の予測)と視覚的自己スーパービジョン(音声から発話顔を生成する)を組み合わせることで生音声エンコーダを訓練する。 本研究は,音声表現学習におけるマルチモーダル・セルフ・スーパービジョンの可能性を示すものである。
  論文  参考訳（メタデータ） (2020-07-08T14:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。