論文の概要: Locality Matters for Training-Free Audio Token Compression in Audio-Language Models

• arxiv url: http://arxiv.org/abs/2605.25179v1
• Date: Sun, 24 May 2026 17:19:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.945637
• Title: Locality Matters for Training-Free Audio Token Compression in Audio-Language Models
• Title（参考訳）: 学習不要な音声トーケン圧縮モデルにおける局所性に関する考察
• Authors: Jiale Luo, Xiaoyu Liang, Haoji Hu,
• Abstract要約: Local Temporal Bipartite Merging(英語版)はトレーニング不要なエンコーダ空間圧縮法であり、類似のオーディオトークンを明示的な時間的制約の下でマージする。 局所性を考慮したマージは,特に強い圧縮条件下で,複数の圧縮設定でキャプションを行う方が好ましいことを示す。
• 参考スコア（独自算出の注目度）: 10.910678708402651
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-language models (ALMs) are increasingly used for audio captioning, question answering, and open-ended audio understanding, but their inference cost remains high when audio inputs are represented as long prefix-token sequences. These audio prefixes consume context budget, increase memory usage, and make deployment harder in resource-constrained or latency-sensitive settings. Existing training-free audio-token reduction methods mainly rely on fixed pooling or score-based pruning. Fixed pooling is content-agnostic, while score-based pruning can preserve isolated salient tokens but discard nearby acoustic context. We propose Local Temporal Bipartite Merging (LTBM), a training-free encoder-space compression method that merges similar nearby audio tokens under an explicit temporal window constraint. Beyond introducing LTBM, we use a controlled Global Merge variant to isolate whether temporal locality itself is a useful inductive bias for audio-token compression. Experiments on AudioCaps, Clotho, and MMAU with Qwen2-Audio show evidence of a task-dependent locality effect: locality-aware merging is more favorable for captioning at several compression settings, especially under stronger compression, while global matching is more competitive for multiple-choice audio understanding. A cross-backbone validation on Audio Flamingo 3 further supports the captioning-side advantage of locality-aware merging under moderate and aggressive compression.
• Abstract（参考訳）: 音声言語モデル(ALM)は、音声キャプション、質問応答、オープンエンドの音声理解にますます使われているが、音声入力が長いプレフィックストケンシーケンスとして表現される場合、その推論コストは高いままである。 これらのオーディオプレフィックスは、コンテキスト予算を消費し、メモリ使用量を増やし、リソース制約やレイテンシに敏感な設定でのデプロイメントを難しくする。 既存のトレーニング不要のオーディオトーケン低減手法は、主に固定プールやスコアベースプルーニングに依存している。 固定プーリングは内容に依存しないが、スコアベースのプルーニングは孤立した透明なトークンを保存できるが、近くの音響コンテキストを破棄する。 本研究では,学習不要なエンコーダ空間圧縮手法であるローカル時空間バイパート・マージ(LTBM)を提案する。 LTBMの導入以外にも、時間的局所性自体がオーディオトーケン圧縮に有用な帰納バイアスであるかどうかを識別するために、制御されたGlobal Merge変異を用いる。 Qwen2-AudioによるAudiaCaps、Clotho、MMAUの実験では、タスク依存の局所性効果の証拠が示されている。 Audio Flamingo 3のクロスバックボーンバリデーションは、中程度でアグレッシブな圧縮下での局所性を考慮したマージのキャプション側アドバンテージをさらにサポートする。

関連論文リスト

• AudioMosaic: Contrastive Masked Audio Representation Learning [53.52371029884106]
  一般的な音声理解のためのコントラスト学習型オーディオエンコーダであるtextbfAudioMosaic を紹介する。 AudioMosaicは、構造化された時間周波数マスキングをスペクトログラムパッチに適用することで、正のペアを構成する。 実験によると、AudioMosaicはいくつかの標準オーディオベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-14T00:56:51Z)
• Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
  大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。 統一デコーダは 時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
  論文  参考訳（メタデータ） (2026-04-16T02:30:41Z)
• DASH: Dynamic Audio-Driven Semantic Chunking for Efficient Omnimodal Token Compression [5.201210378318278]
  トークン圧縮と意味構造を協調する動的オーディオ駆動セマンティックcHunking(DASH)を提案する。 DASHは音声埋め込みをセマンティックアンカーとして扱い、コサイン類似性不連続性によって境界候補を検出する。 AVUT、VideoMME、WorldSenseの実験では、DASHは従来の方法に比べて高い圧縮比を達成しつつ、優れた精度を維持している。
  論文  参考訳（メタデータ） (2026-03-15T15:22:06Z)
• EchoingPixels: Cross-Modal Adaptive Token Reduction for Efficient Audio-Visual LLMs [28.295585578439212]
  EchoingPixelsは、現実世界のシーンにおける視覚と音の共存と相互作用にインスパイアされたフレームワークである。 これは、モダリティごとに固定予算を使うのではなく、オーディオ・ビジュアル・トークンの合計プールからトークンを減らします。 オリジナルのトークンの5～20%しか使用せず、2～3倍のスピードアップとメモリ削減を実現している。
  論文  参考訳（メタデータ） (2025-12-11T06:18:58Z)
• OmniZip: Audio-Guided Dynamic Token Compression for Fast Omnimodal Large Language Models [21.542205813984243]
  本稿では,マルチモーダルトークン表現と推論を最適化する,トレーニング不要な音声視覚トークン圧縮フレームワークを提案する。 具体的には、OmniZipはまず健全な音声トークンを特定し、その後、各タイムグループの音声保持スコアを計算して情報をキャプチャする。 タイムウィンドウ毎に、OmniZipはインターリーブ時間スキームを使用してビデオトークンを圧縮する。
  論文  参考訳（メタデータ） (2025-11-18T15:22:32Z)
• SecoustiCodec: Cross-Modal Aligned Streaming Single-Codecbook Speech Codec [83.61175662066364]
  音声コーデックは、音声とテキスト言語モデルを統一するための重要なブリッジとして機能する。 既存の手法はセマンティックエンコーディングにおいていくつかの課題に直面している。 本稿では,クロスモーダルな低ビットレートストリーミング音声コーデックSecoustiCodecを提案する。
  論文  参考訳（メタデータ） (2025-08-04T19:22:14Z)
• Separate Anything You Describe [53.30484933564858]
  言語クエリオーディオソース分離(LASS)は,CASA(Computer auditory scene analysis)の新しいパラダイムである AudioSepは、自然言語クエリによるオープンドメインオーディオソース分離の基礎モデルである。
  論文  参考訳（メタデータ） (2023-08-09T16:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。