論文の概要: From Masking to Merging: Rethinking SpecAugment for Efficient Audio Spectrogram Transformer

• arxiv url: http://arxiv.org/abs/2609.13260v1
• Date: Sun, 06 Sep 2026 15:21:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.147461
• Title: From Masking to Merging: Rethinking SpecAugment for Efficient Audio Spectrogram Transformer
• Title（参考訳）: マスキングからマージング:効率的なオーディオスペクトログラム変換器のスペックオーグメンテーション再考
• Abstract要約: パッチレベルでの入力スペクトログラムのマスキングにSpecAugmentを適用し、位置埋め込みを加えた後、マスクしたパッチのr対を選択し、それらをマージする。 マージされたペア数 r を 0 から 100 にすると、AudioSet の mAP はほぼ変化せず、スループットは 43.3 から 49.3 のサンプル/秒に増加する。 同様のパターンはESC-50やSpeech Commands V2にも見られる。
• 参考スコア（独自算出の注目度）: 4.0913617519821255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes SpecAugment-Patch Merging, a simple yet effective method to accelerate Audio Spectrogram Transformer (AST) training. We first apply SpecAugment to mask input spectrograms at the patch level, and after positional embeddings are added, the method selects r pairs of masked patches and merges them, reducing the number of tokens processed by the Transformer. Increasing the number of merged pairs r from 0 to 100 keeps mAP on AudioSet nearly unchanged (34.07 to 34.08) while throughput increases from 43.3 to 49.3 samples/sec, which is a relatively 13.9% improvement. Similar patterns appear on ESC-50 and Speech Commands V2, where throughput steadily improves with only minor accuracy changes, demonstrating that this merging approach provides faster training with minimal performance loss.
• Abstract（参考訳）: 本稿では,AST(Audio Spectrogram Transformer)学習を高速化する簡易かつ効果的な手法であるSpecAugment-Patch Mergingを提案する。 まず、パッチレベルでの入力スペクトルをマスクするためにSpecAugmentを適用し、位置埋め込みを追加すると、マスクしたパッチのr対を選択し、それらをマージし、Transformerによって処理されるトークンの数を削減します。 マージされたペア数 r を 0 から 100 に増やすことで、AudioSet の mAP はほぼ変化せず (34.07 から 34.08)、スループットは 43.3 から 49.3 に向上し、これは比較的 13.9% の改善である。 同様のパターンがESC-50やSpeech Commands V2に現れており、スループットは小さな精度の変更だけで着実に改善されている。

関連論文リスト

• Fixed-Point Masked Generative Modeling [35.75652770369505]
  Masked Generative Models (MGM) は並列デコードを可能にし、モダリティをまたいだ強力な性能を実現する。 フルシーケンスの双方向トランスフォーマーを各ステップで必要としており、低サンプリング予算下でのトレーニングのコストと品質の低下を図っている。 本稿では,固定点マスキング生成モデル (FP-MGM) を導入し,共有注意層上での定点解法をデノイザの一部に置き換える。
  論文  参考訳（メタデータ） (2026-05-29T12:19:26Z)
• SPAR-K: Scheduled Periodic Alternating Early Exit for Spoken Language Models [56.525932945429275]
  インターリーブ音声言語モデル(SLM)はテキストと音声トークンを交互に生成するが、ステップ毎にフルトランスフォーマー深さでの復号はコストがかかる。 SPAR-Kは、知覚品質を維持しつつ、インターリーブされたSLM推論を高速化するために設計されたモダリティ対応早期終了フレームワークである。 我々は,4つのデータセットにまたがるステップAudio-2-mini と GLM-4-Voice を用いて,推論,事実QA,対話タスクを対象とするフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-03-10T05:39:03Z)
• Accelerating Vision Transformers with Adaptive Patch Sizes [58.48800204993534]
  Vision Transformerは、入力画像をコンテンツに関係なく一様サイズのパッチに分割する。 適応パッチ変換器(APT)は,複数の異なるパッチサイズを同一画像内で使用することで,この問題に対処する。 APTはViT推論とトレーニングの大幅な高速化を実現し、ViT-Lでは40%、ViT-Hでは50%のスループット向上を実現している。
  論文  参考訳（メタデータ） (2025-10-20T20:37:11Z)
• Full-Frequency Temporal Patching and Structured Masking for Enhanced Audio Classification [3.588372242361407]
  本稿では,全周波数帯域に局所的な時間的コンテキストを分散させることにより,スペクトルの時間-周波数非対称性をよりよく一致させるパッチ方式を提案する。 また、固定マスク予算の下で、フル周波数マスクとローカライズされた時間周波数マスクを組み合わせたパッチアライン・スペクトログラム拡張であるSpecMaskを導入する。
  論文  参考訳（メタデータ） (2025-08-28T22:13:20Z)
• Speedy MASt3R [68.47052557089631]
  MASt3Rは、DUSt3Rを活用して高速な相互マッチング方式を導入することで、画像マッチングを3Dタスクとして再定義する。 高速MASt3Rは、精度を犠牲にすることなく、推論時間(画像ペアあたり198msから91ms)を54%削減する。 この進歩により、リアルタイムな3D理解が可能になり、複合現実ナビゲーションや大規模3Dシーン再構築といったアプリケーションに恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-03-13T03:56:22Z)
• From Coarse to Fine: Efficient Training for Audio Spectrogram Transformers [16.90294414874585]
  粗粒化モデルと変圧器モデルとの結合による音声スペクトログラム変換器の多相学習を提案する。 これらの手法の1つを利用することで、トランスフォーマーモデルは初期段階の低解像度(粗い)データから学習し、その後、カリキュラム学習戦略において高解像度のデータで微調整される。
  論文  参考訳（メタデータ） (2024-01-16T14:59:37Z)
• Fast Training of Diffusion Models with Masked Transformers [107.77340216247516]
  マスク付き変圧器を用いた大規模拡散モデルの学習に有効な手法を提案する。 具体的には、トレーニング中に拡散された入力画像のパッチの割合をランダムにマスキングする。 ImageNet-256x256 と ImageNet-512x512 の実験により,我々の手法は最先端の拡散変換器 (DiT) モデルよりも競争力があり,より優れた生成性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-06-15T17:38:48Z)
• Multiscale Audio Spectrogram Transformer for Efficient Audio Classification [1.797470734877199]
  階層型表現学習を用いたマルチスケール音声スペクトログラム変換器(MAST)を開発した。 具体的には、MASTは時間(および周波数領域)に沿って1次元(および2次元)プーリング演算子を使用し、トークンの数を徐々に減少させ、特徴次元を増大させる。
  論文  参考訳（メタデータ） (2023-03-19T20:21:29Z)
• MAST: Multiscale Audio Spectrogram Transformers [53.06337011259031]
  音声分類のためのマルチスケール音声スペクトログラム変換器(MAST)について,マルチスケール特徴階層の概念をAST(Audio Spectrogram Transformer)に適用した。 実際に、MASTはLAPEベンチマークの8つの音声および非音声タスクで平均3.4%の精度でASTを著しく上回っている。
  論文  参考訳（メタデータ） (2022-11-02T23:34:12Z)
• An Improved Single Step Non-autoregressive Transformer for Automatic Speech Recognition [28.06475768075206]
  非自己回帰機構は、音声変換器の推論時間を著しく短縮することができる。 CTCアライメントに基づく単一ステップ非自己回帰変換器(CASS-NAT)の以前の研究は、自己回帰変換器(AT)よりも大きなリアルタイム係数(RTF)の改善を示している。 エンド・ツー・エンドのCASS-NATの精度を向上させるためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2021-06-18T02:58:30Z)
• VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text [60.97904439526213]
  video-audio-text transformer (vatt) は生の信号を入力として取り、様々な下流タスクに役立つほどリッチなマルチモーダル表現を抽出する。 マルチモーダルなコントラスト損失を用いて,vattのエンドツーエンドをスクラッチからトレーニングし,映像動作認識,音声イベント分類,画像分類,テキストからビデオへの検索といった下流タスクによってその性能を評価する。
  論文  参考訳（メタデータ） (2021-04-22T17:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。