論文の概要: LAST: Looped Audio Spectrogram Transformer

• arxiv url: http://arxiv.org/abs/2610.01926v1
• Date: Thu, 01 Oct 2026 15:59:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.249578
• Title: LAST: Looped Audio Spectrogram Transformer
• Title（参考訳）: LAST:Looped Audio Spectrogram Transformer
• Abstract要約: Looped Audio Spectrogram Transformer (LAST) は最初に全てのトークンを処理する。 テンパスLATの平均精度は0.345であり、12層シーケンシャルトランスを2.1%上回る。 個別に訓練されたモデル全体で、パスカウントを2から10に増やすことで精度が向上し、計算量は1.2%に留まる。
• 参考スコア（独自算出の注目度）: 6.948392715676551
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Increasing depth of transformer models improves recognition, but it comes at a substantial cost. Each additional layer requires more parameters, which makes the process computationally inefficient. We ask whether additional processing can focus on integrating features already computed. Looped Audio Spectrogram Transformer (LAST) first processes all tokens, then reuses the same blocks to refine only the class token over fixed audio features, thereby making later passes inexpensive. On AudioSet, ten-pass LAST achieves 0.345 mean average precision, exceeding a twelve-layer sequential transformer by 2.1% relative with 49.4% fewer parameters, 42% fewer multiply-accumulate operations, and 9.8% higher measured throughput. Across separately trained models, increasing the pass count from two to ten improves accuracy while adding only 1.2% computation. Further evaluations show improved robustness to temporal masking and various other auditory augmentations, with better generalization on classification tasks with music, environmental, and event sounds.
• Abstract（参考訳）: トランスモデルの深度の増加は認識を改善するが、かなりのコストがかかる。 各追加レイヤはより多くのパラメータを必要とするため、処理を計算的に非効率にする。 我々は、既に計算済みの機能の統合に、追加の処理がフォーカスできるかどうか尋ねる。 Looped Audio Spectrogram Transformer (LAST) は、まず全てのトークンを処理し、次に同じブロックを再利用して、固定されたオーディオ機能に対してクラストークンのみを洗練し、後続のパスを安くする。 AudioSetでは、10パスのLASTの平均精度は0.345で、12層のシーケンシャルトランスフォーマーを2.1%上回り、パラメータは49.4%減、乗算演算は42%減、スループットは9.8%向上した。 個別に訓練されたモデル全体で、パスカウントを2から10に増やすことで精度が向上し、計算量は1.2%に留まる。 さらなる評価では、時間的マスキングやその他の様々な聴覚増強に対する堅牢性の向上が示され、音楽、環境、イベント音による分類タスクの一般化が向上した。

関連論文リスト

• From Masking to Merging: Rethinking SpecAugment for Efficient Audio Spectrogram Transformer [4.0913617519821255]
  パッチレベルでの入力スペクトログラムのマスキングにSpecAugmentを適用し、位置埋め込みを加えた後、マスクしたパッチのr対を選択し、それらをマージする。 マージされたペア数 r を 0 から 100 にすると、AudioSet の mAP はほぼ変化せず、スループットは 43.3 から 49.3 のサンプル/秒に増加する。 同様のパターンはESC-50やSpeech Commands V2にも見られる。
  論文  参考訳（メタデータ） (2026-09-06T15:21:19Z)
• Inference-time Scaling for Diffusion-based Audio Super-resolution [27.246435209069865]
  拡散モデルは、音声超解像(SR)を含む生成タスクにおいて顕著な成功を収めた。 本稿では,サンプリング過程における複数の解軌跡を探索するSRの推論時間スケーリングを通じて,異なるパラダイムを提案する。 検証とアルゴリズムの組み合わせによって高次元の解空間の探索を積極的に導くことで、より堅牢で高品質な出力を可能にします。
  論文  参考訳（メタデータ） (2025-08-04T13:17:49Z)
• Multiscale Audio Spectrogram Transformer for Efficient Audio Classification [1.797470734877199]
  階層型表現学習を用いたマルチスケール音声スペクトログラム変換器(MAST)を開発した。 具体的には、MASTは時間(および周波数領域)に沿って1次元(および2次元)プーリング演算子を使用し、トークンの数を徐々に減少させ、特徴次元を増大させる。
  論文  参考訳（メタデータ） (2023-03-19T20:21:29Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• Low-complexity deep learning frameworks for acoustic scene classification [64.22762153453175]
  音響シーン分類(ASC)のための低複雑さ深層学習フレームワークを提案する。 提案するフレームワークは、フロントエンドのスペクトログラム抽出、オンラインデータ拡張、バックエンドの分類、予測される確率の後期融合の4つの主要なステップに分けることができる。 DCASE 2022 Task 1 Development データセットで実施した実験は,低複雑さの要求を十分に満たし,最も高い分類精度を 60.1% で達成した。
  論文  参考訳（メタデータ） (2022-06-13T11:41:39Z)
• An Improved Single Step Non-autoregressive Transformer for Automatic Speech Recognition [28.06475768075206]
  非自己回帰機構は、音声変換器の推論時間を著しく短縮することができる。 CTCアライメントに基づく単一ステップ非自己回帰変換器(CASS-NAT)の以前の研究は、自己回帰変換器(AT)よりも大きなリアルタイム係数(RTF)の改善を示している。 エンド・ツー・エンドのCASS-NATの精度を向上させるためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2021-06-18T02:58:30Z)
• Effects of Word-frequency based Pre- and Post- Processings for Audio Captioning [49.41766997393417]
  音響シーン・イベントの検出・分類のタスク6(自動音声キャプション)に使用したシステム(DCASE)2020 Challengeは,音声キャプションのためのデータ拡張,マルチタスク学習,ポストプロセッシングという3つの要素を組み合わせる。 このシステムは評価スコアが最も高いが、個々の要素のどれがパーフォーマンスに最も貢献したかはまだ明らかになっていない。
  論文  参考訳（メタデータ） (2020-09-24T01:07:33Z)
• ScopeFlow: Dynamic Scene Scoping for Optical Flow [94.42139459221784]
  我々は,光流の一般的なトレーニングプロトコルを変更することを提案する。 この改善は、挑戦的なデータをサンプリングする際のバイアスを観察することに基づいている。 トレーニングプロトコルでは,正規化と拡張の双方が減少することが判明した。
  論文  参考訳（メタデータ） (2020-02-25T09:58:49Z)
• End-to-End Multi-speaker Speech Recognition with Transformer [88.22355110349933]
  音声認識モデルにおけるRNNベースのエンコーダデコーダをトランスフォーマーアーキテクチャに置き換える。 また、計算量を削減するために、シーケンス全体ではなくセグメントに制限されるセルフアテンションコンポーネントを変更します。
  論文  参考訳（メタデータ） (2020-02-10T16:29:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。