Fugu-MT 論文翻訳(概要): AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs

論文の概要: AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs

arxiv url: http://arxiv.org/abs/2610.13600v1
Date: Fri, 09 Oct 2026 13:49:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-13 04:06:29.605844
Title: AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs
Title（参考訳）: AudioTETRIS:効率的なオーディオLLMのためのトランジッショナル・コンパタンス・シグナルによるトークン除去
Abstract要約: オーディオエンコーダは、短いオーディオクリップでも数百のトークンを生成する。現在のトレーニング不要なトークン圧縮メソッドは、粗い注意や特徴の類似性のみに基づいて、トークンをプルーンまたはマージする。本稿では,AudioTETRISを提案する。AudioTETRISは,Audio Encoderの表現幾何をトークンの重要度に対する音響的先行として利用する,トレーニング不要の2段階のフレームワークである。
参考スコア（独自算出の注目度）: 10.994062021996427
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Audio Language Models (LALMs) achieve strong performance on speech-text tasks, but standard audio encoders produce hundreds of tokens for even short audio clips. Because self-attention scales quadratically in sequence length, this inflates inference-time compute substantially. Current training-free token compression methods prune or merge tokens based solely on coarse attention or feature similarity. However, treating audio tokens as generic, isotropic features smooths over spectral transitions, destroying fine-grained phonetic transitions essential for decoding speech. In contrast, speech signals exhibit highly structured temporal patterns where information density peaks at acoustic transitions. We propose AudioTETRIS, a training-free, two-stage framework that uses the audio encoder's representation geometry as an acoustic prior for token importance before applying attention-based compression. Instead of discarding encoder structure after the encoding stage, AudioTETRIS propagates this prior directly into the LLM decoder to compute a per-token fused score. This score drives progressive top-$k$ token selection across decoder layers without requiring additional training or auxiliary models. Evaluated on Qwen2-Audio-7B, Phi-4-Multimodal, and Audio Flamingo 3, AudioTETRIS retains near-uncompressed performance on several speech tasks using only 25% of audio tokens, matches or surpasses full-token accuracy at moderate compression rates, and consistently outperforms existing training-free baselines.
Abstract（参考訳）: LALM(Large Audio Language Models)は、音声テキストタスクにおいて強力なパフォーマンスを達成するが、標準オーディオエンコーダは短い音声クリップに対して数百のトークンを生成する。自己アテンションはシーケンス長で2次にスケールするため、このインフレーションは推論時間計算を著しく拡張する。現在のトレーニング不要なトークン圧縮手法は、粗い注意や特徴の類似性にのみ基いて、トークンをプーンまたはマージする。しかし、音声トークンを一般的な等方的特徴として扱うことは、スペクトル遷移を円滑にし、音声の復号に不可欠なきめ細かい音素遷移を破壊する。対照的に、音声信号は、情報密度が音響遷移でピークとなる高度に構造化された時間パターンを示す。本稿では,AudioTETRISを提案する。AudioTETRISは,アテンションベースの圧縮を行う前に,オーディオエンコーダの表現幾何をアコースティックプリアとして使用する2段階のフレームワークである。エンコーダ構造をエンコードした後に破棄する代わりに、AudioTETRISは、この前のことをLSMデコーダに直接伝播して、トーケンの融合スコアを計算する。このスコアは、追加のトレーニングや補助モデルを必要とせずに、デコーダ層間でプログレッシブのトップ$k$トークン選択を駆動する。 Qwen2-Audio-7B、Phi-4-Multimodal、Audio Flamingo 3で評価され、AudioTETRISは、音声トークンの25%しか使用していない音声タスクにおいてほぼ圧縮されていない性能を維持し、適度な圧縮速度で完全精度を達成し、既存のトレーニングフリーベースラインを一貫して上回っている。

論文の概要: AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs

関連論文リスト