論文の概要: Audio Token Attention Is Predictable Before the Language Model Runs

• arxiv url: http://arxiv.org/abs/2609.38878v1
• Date: Wed, 30 Sep 2026 03:28:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.120755
• Title: Audio Token Attention Is Predictable Before the Language Model Runs
• Title（参考訳）: 言語モデルが実行される前に、音声による注意が予測可能
• Abstract要約: 大規模な音声言語モデル(LALM)は1分間の音声を750-1500のトークンに変換し、すべてのトークンをプリフィルする。 イメージトケンプルーニングはしばしば、画像トークンがほとんど注意を引かない言語モデルの最初のレイヤの後にカットされる。 オーディオトークンはもっと注目を集めており、そのランキングはまだ最終段階には程遠いので、言語モデルが実行される前には、オーディオがランク付けする必要がある。 提案手法であるTriageは,この予測により音声トークンをカットし,複数選択でレイヤー2で再度カットし,そこで観測された注意を補正する。
• 参考スコア（独自算出の注目度）: 8.758993184781056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A large audio language model (LALM) turns a minute of speech into 750-1,500 tokens and prefills every one. Image-token pruning often cuts after the language model's first layers, where image tokens draw little attention. Audio tokens draw much more attention there, and their ranking is still far from final, so audio needs a ranking before the language model runs. Surprisingly, the attention an audio token will receive across the language model is already linearly predictable from its encoder output, before the language model runs. A linear map, fitted in closed form without labels, predicts this all-layer attention ranking at $ρ\geq .69$ on eleven of thirteen LALMs. Our method, Triage, cuts audio tokens by this prediction and, on multiple choice, cuts again at layer 2, correcting the prediction with the attention observed there. Triage sets its compression without labels, under two budgets that limit how far its output may differ from the model's own full-audio output. At the conservative budget, its word error rate and accuracy stay within .04 of full audio. At the aggressive budget, Triage beats every baseline in all twelve transcription cases. On multiple choice, at 2.2-5x compression, it outperforms DART, the strongest baseline on average, by .043 in mean accuracy. Because it cuts before the language model, it raises the audio that fits in Qwen2.5-Omni-3B's context window from 21.8 to about 62 minutes. At its most compressive point, Triage lets one GPU serve 4x as many concurrent 5-minute streams of that model. Project page: https://audio-triage.github.io
• Abstract（参考訳）: 大規模な音声言語モデル(LALM)は1分間の音声を750-1500のトークンに変換し、すべてのトークンをプリフィルする。 イメージトケンプルーニングはしばしば、画像トークンがほとんど注意を引かない言語モデルの最初のレイヤの後にカットされる。 オーディオトークンはもっと注目を集めており、そのランキングはまだ最終段階には程遠いので、言語モデルが実行される前には、オーディオがランク付けする必要がある。 驚いたことに、音声トークンが言語モデル全体で受ける注意は、言語モデルの実行前にエンコーダ出力から線形に予測可能である。 ラベルのない閉形式に収まる線形写像は、13個のLALMのうち11個に対して、この全層アテンションランクをρ\geq .69$と予測する。 提案手法であるTriageは,この予測により音声トークンをカットし,複数選択でレイヤー2で再度カットし,そこで観測された注意を補正する。 Triageはその圧縮をラベルなしで設定し、2つの予算の下で、その出力がモデル自身のフルオーディオ出力とどの程度異なるかを制限する。 保守的な予算では、単語の誤り率と精度は完全なオーディオの.04以内にとどまる。 攻撃的な予算では、Triageは12件の転写ケースですべてのベースラインを破る。 複数の選択で2.2-5倍圧縮し、平均で最強のベースラインであるDARTを平均精度.043で上回っている。 言語モデルの前にカットするため、Qwen2.5-Omni-3Bのコンテキストウィンドウに適合するオーディオを21.8分から62分に上げる。 最も圧縮された時点では、Triageは1つのGPUが、そのモデルの5分間の同時ストリームの4倍の機能を提供する。 プロジェクトページ: https://audio-triage.github.io

関連論文リスト

• Heard but Not Heeded: Paralinguistic Information Encoding and Loss in Audio-Language Models [58.79935033105039]
  本稿では,Whisper-large-v2,Qwen2-Audio-7B Instruct,Qwen2.5-Omni-7B,Chroma-4Bの4つのオープンソースモデルにおけるパラ言語情報の力学解析を行った。 我々は、中心となるカーネルアライメント、線形探索と1人の話者のアウト評価、オープンエンドトーン予測、およびコンテンツ韻律リークメトリクスを組み合わせることで、スタイル情報がオーディオエンコーダから最終出力へどのように移動するかを追跡する。
  論文  参考訳（メタデータ） (2026-09-01T05:03:33Z)
• Can We Read the Mind of an Audio LLM? A Verbalizable, Multilingual Middle-Layer Workspace [25.30608614532135]
  音声言語モデルは、特定の方法でブラックボックスである。 われわれはそれが何を言っているかを見るが、そこで何がうまくいくかは見当たらない。 モデルの中層では、話し言葉の質問に対する答えが(言葉で言えば)正当であることが分かりました。
  論文  参考訳（メタデータ） (2026-08-25T06:17:28Z)
• WnW: Waxing-and-Waning KV Cache for Long-Form Speech LLMs [60.6692467625441]
  Waxing-and-Waning KVキャッシュはKVヘッドをオフラインキャリブレーションによってアンカー、タイダル、固定ロールに分類する。 3Bバックボーンが2つあるLibri-Speechでは、WnWはほぼフルキャッシュの精度を維持しながら、プリフィルオンリーのベースラインが終了しないGPU上のオーディオトークンの20%しか保持しない。
  論文  参考訳（メタデータ） (2026-08-24T01:48:30Z)
• AudioCapBench: Quick Evaluation on Audio Captioning across Sound, Music, and Speech [56.08149157180447]
  本稿では,大規模マルチモーダルモデルの音声キャプション機能を評価するベンチマークであるAudioCapBenchを紹介する。 我々は、参照ベースのメトリクス(METEOR、BLEU、ROUGE-L)とLLM-as-Judgeフレームワークを使用して、2つのプロバイダ(OpenAI、Google Gemini)にわたる13のモデルを評価する。
  論文  参考訳（メタデータ） (2026-02-27T03:33:37Z)
• Segmentwise Pruning in Audio-Language Models [6.315331532316353]
  視覚言語ドメインでは、トークンプルーニング法は、ベンチマーク上での強い性能を維持しながらトークン数を削減するのに有効であることが証明されている。 本研究では,このようなトークン選択戦略の関連性や有効性について,音声モデルを用いて検討する。 初期トークンの4分の1しか保持していないが,クロトv2ではCIDErが2%,MMAUでは4%の精度で低下した。
  論文  参考訳（メタデータ） (2025-11-18T09:43:27Z)
• Generative Audio Language Modeling with Continuous-valued Tokens and Masked Next-Token Prediction [63.26850431270348]
  離散トークンを使わずに因果言語モデル(LM)を用いた音声生成について検討する。 トークンの拡散を利用して、次の連続値トークンの連続分布をモデル化する。 本稿では,マスク付き予測を因果的LMフレームワークに組み込んだ,マスク付き次世代予測タスクを提案する。
  論文  参考訳（メタデータ） (2025-07-14T00:14:54Z)
• Whisper-GPT: A Hybrid Representation Audio Large Language Model [1.2328446298523066]
  音声と音楽のための生成的大規模言語モデル(LLM)により,単一アーキテクチャの一部として連続的な音声表現と離散トークンを同時に扱うことができる。 我々は,次のトークン予測において,我々のアーキテクチャが難易度と負のログライクなスコアを,音声と音楽のトークンベースのLLMと比較していかに改善するかを示す。
  論文  参考訳（メタデータ） (2024-12-16T05:03:48Z)
• Efficient Streaming LLM for Speech Recognition [23.151980358518102]
  SpeechLLM-XLは、ストリーミング音声認識のための線形スケーリングデコーダのみのモデルである。 訓練発話の10倍の長文発声に対して品質劣化を生じさせない。
  論文  参考訳（メタデータ） (2024-10-02T01:54:35Z)
• XLAVS-R: Cross-Lingual Audio-Visual Speech Representation Learning for Noise-Robust Speech Perception [62.660135152900615]
  音声認識と翻訳システムではノイズの多い入力が不十分である。 XLAVS-Rは、雑音による音声認識と翻訳のための言語間音声・視覚音声表現モデルである。
  論文  参考訳（メタデータ） (2024-03-21T13:52:17Z)
• Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models [65.18102159618631]
  マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。 高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。 本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
  論文  参考訳（メタデータ） (2023-01-30T04:44:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。