Fugu-MT 論文翻訳(概要): Listening Forward: Next Patch Embedding Prediction Enables Scalable Audio Learners

論文の概要: Listening Forward: Next Patch Embedding Prediction Enables Scalable Audio Learners

arxiv url: http://arxiv.org/abs/2608.19863v1
Date: Thu, 20 Aug 2026 10:16:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-21 20:28:51.529141
Title: Listening Forward: Next Patch Embedding Prediction Enables Scalable Audio Learners
Title（参考訳）: リスニングフォワード: スケーラブルなオーディオ学習者を可能にする次のパッチ埋め込み予測
Abstract要約: 自己指導型学習は、音声表現学習において大きな進歩をもたらした。 NAPEは、因果変換器がそれぞれの次のパッチの埋め込みを予測する自己教師型フレームワークである。いくつかのタスクで最先端の微調整性能を達成し、エンコーダサイズを一貫して拡張し、強い線形探索結果を得る。
参考スコア（独自算出の注目度）: 33.10721304996431
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Self-supervised learning (SSL) has driven substantial progress in audio representation learning, though existing methods have increasingly relied on elaborate pre-training recipes to reach competitive performance. A markedly different pre-training philosophy underpins the most influential progress in language modeling and, more recently, in visual representation learning: rather than train encoders as static feature extractors, models are trained to predict the next element, a discrete token or a continuous embedding, from the preceding context. Autoregressive prediction thereby provides a unified pre-training interface that transfers across modalities, compelling the model to learn the underlying data distribution. We ask whether such a simple causal paradigm can yield strong audio learners, given that audio's temporal structure makes autoregressive prediction of patch embeddings a natural fit. We introduce NAPE (Next-Audio-Patch-Embedding prediction), a self-supervised framework in which a causal Transformer predicts each next patch embedding of a log-mel spectrogram from the previous ones, using causal masking and stop-gradient as its sole training signal. The design is intentionally minimalist, avoiding reconstruction decoders, acoustic tokenizers, student-teacher setups, and auxiliary regularization losses. Across six audio and speech benchmarks, NAPE achieves state-of-the-art fine-tuning performance on several tasks, scales consistently across encoder sizes, and yields strong linear-probing results. NAPE also produces structured attention patterns without explicit supervision.
Abstract（参考訳）: 自己教師付き学習(SSL)は、音声表現学習の大幅な進歩を導いてきたが、既存の手法は、競争性能に到達するために、より精巧な事前学習レシピに依存している。言語モデリングや、最近では、静的特徴抽出器としてエンコーダを訓練するのではなく、モデルは、前のコンテキストから次の要素、離散トークン、または連続埋め込みを予測するために訓練される。これにより、自動回帰予測は、モダリティ間で転送される統一された事前学習インターフェイスを提供し、基礎となるデータ分布を学習するようモデルに促す。このような単純な因果的パラダイムが、音声の時間構造がパッチ埋め込みの自己回帰予測を自然に適合させるので、強力なオーディオ学習者を生み出すかどうかを問う。因果変換器は、因果マスクと停止勾配を単独の訓練信号として用いて、前者からの対数メルスペクトルの次のパッチ埋め込みを予測する自己教師型フレームワークであるNAPE(Next-Audio-Patch-Embedding Prediction)を導入する。設計は意図的に最小限であり、再構成復号器、音響トークン装置、生徒-教師のセットアップ、補助正規化の損失を回避している。 6つの音声および音声のベンチマークで、NAPEはいくつかのタスクで最先端の微調整性能を達成し、エンコーダのサイズを一貫して拡張し、強い線形探索結果を得る。 NAPEはまた、明示的な監督なしに構造化された注意パターンを生成する。

関連論文リスト

AudioMosaic: Contrastive Masked Audio Representation Learning [53.52371029884106]
一般的な音声理解のためのコントラスト学習型オーディオエンコーダであるtextbfAudioMosaic を紹介する。 AudioMosaicは、構造化された時間周波数マスキングをスペクトログラムパッチに適用することで、正のペアを構成する。実験によると、AudioMosaicはいくつかの標準オーディオベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2026-05-14T00:56:51Z)
Representation-Regularized Convolutional Audio Transformer for Audio Understanding [53.092757178419355]
スクラッチからのブートストラップ表現は計算に高価で、しばしば収束するために広範囲のトレーニングを必要とします。本稿では,これらの課題に対処するための統合フレームワークであるConvolutional Audio Transformer (CAT)を提案する。
論文参考訳（メタデータ） (2026-01-29T12:16:19Z)
Learning from Next-Frame Prediction: Autoregressive Video Modeling Encodes Effective Representations [53.91818843831925]
NExT-Vidは,新しい自己回帰型視覚生成事前学習フレームワークである。本研究では,文脈分離型自己回帰予測器を導入し,セマンティック表現をターゲットデコーディングから切り離す。文脈分離型フローマッチング事前学習により,本手法は強い表現を実現する。
論文参考訳（メタデータ） (2025-12-24T07:07:08Z)
Learning Robust Spatial Representations from Binaural Audio through Feature Distillation [64.36563387033921]
データラベルを必要とせずに音声の頑健な空間表現を学習するために,特徴蒸留に基づく事前学習ステージの利用について検討する。実験により, 事前学習したモデルでは, 騒音および残響環境における性能が向上していることが示された。
論文参考訳（メタデータ） (2025-08-28T15:43:15Z)
MATPAC++: Enhanced Masked Latent Prediction for Self-Supervised Audio Representation Learning [9.580895202050947]
自己教師型学習(SSL)の先駆的パラダイムとしてマスク付き潜伏予測が登場した本研究は,MCL(Multiple Choice Learning)を統合し,予測のあいまいさを明示的にモデル化し,表現品質を向上させることを提案する。
論文参考訳（メタデータ） (2025-08-18T08:10:07Z)
Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文参考訳（メタデータ） (2024-03-11T16:22:41Z)
DeCoR: Defy Knowledge Forgetting by Predicting Earlier Audio Codes [16.96483269023065]
生涯音声の特徴抽出は、新しい音のクラスを漸進的に学習する。新しいデータにのみモデルを最適化することは、これまで学習されたタスクを壊滅的に忘れてしまう可能性がある。本稿では,DeCoRと呼ばれる連続的な音声表現学習における新しいアプローチを提案する。
論文参考訳（メタデータ） (2023-05-29T02:25:03Z)
Dynamic Scheduled Sampling with Imitation Loss for Neural Text Generation [10.306522595622651]
トレーニング時間精度のみに基づいてスケジュールを維持するDySI(Dynamic Scheduled Sampling with Imitation Loss)を導入する。 DySIは標準的な機械翻訳ベンチマークの顕著な改善を実現し、他のテキスト生成モデルの堅牢性を大幅に改善した。
論文参考訳（メタデータ） (2023-01-31T16:41:06Z)
BEATs: Audio Pre-Training with Acoustic Tokenizers [77.8510930885778]
自己教師付き学習(SSL)は、ここ数年、言語、ビジョン、スピーチ、オーディオドメインで目撃されてきた。本稿では、音声変換器から双方向表現を学習するための反復型オーディオ事前学習フレームワークBEATを提案する。最初のイテレーションでは、ランダムプロジェクションを音響トークンとして使用し、マスクとラベル予測の方法でオーディオSSLモデルをトレーニングする。そこで,本研究では,事前学習あるいは微調整した音声SSLモデルから意味知識を抽出することにより,次のイテレーションのための音響トークン化装置を訓練する。
論文参考訳（メタデータ） (2022-12-18T10:41:55Z)
ASiT: Local-Global Audio Spectrogram vIsion Transformer for Event Classification [42.95038619688867]
ASiTは、グループマスク付きモデル学習と自己蒸留を用いて、局所的およびグローバルな文脈情報をキャプチャする、新しい自己教師型学習フレームワークである。我々は、音声イベント分類、キーワードスポッティング、話者識別を含む音声および音声の分類タスクにおいて、事前訓練されたモデルを評価する。
論文参考訳（メタデータ） (2022-11-23T18:21:09Z)
SSAST: Self-Supervised Audio Spectrogram Transformer [19.09439093130855]
本稿では,非ラベル音声を用いた音声スペクトログラム変換器(AST)モデルを,共同識別・生成型マスマスキング・スペクトログラム・パッチ・モデリング(MSPM)で事前学習することを提案する。我々は、音声イベント分類、キーワードスポッティング、感情認識、話者識別を含む音声および音声の分類タスクにおいて、事前訓練されたモデルを評価する。我々の知る限りでは、このフレームワークはオーディオおよび音声領域における最初のパッチベースのセルフ教師あり学習フレームワークであり、ASTのための最初のセルフ教師あり学習フレームワークでもある。
論文参考訳（メタデータ） (2021-10-19T07:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。