論文の概要: Audio-Visual Exchange-Aware Token Pruning for Efficient Audio-Visual Captioning

• arxiv url: http://arxiv.org/abs/2606.10533v1
• Date: Tue, 09 Jun 2026 08:04:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.381217
• Title: Audio-Visual Exchange-Aware Token Pruning for Efficient Audio-Visual Captioning
• Title（参考訳）: 効率的なオーディオ・ビジュアル・キャプションのためのオーディオ・ビジュアル・インターチェンジ対応トケ・プルーニング
• Authors: Zihan Meng, Dexiang Hong, Weidong Chen, Ziyu Zhou, Bo Hu, Zhendong Mao,
• Abstract要約: AVEX-Pruneは,RLをベースとしたダイナミック・ダイナミック・トークン・プルーニング手法である。 AVEX-Prune は VILA 1.5-8B と VideoLLaMA 2 の両方でフルトーケン品質を40% の保持率で保持する。
• 参考スコア（独自算出の注目度）: 30.40330199901482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-visual captioning generates natural language descriptions from video and audio content. Multimodal LLMs have advanced this task, but both modalities contribute many tokens to the LLM input, where prefill self-attention scales quadratically. Existing token-pruning methods usually retain tokens by attention, saliency, or cross-entropy loss, yet the hard threshold selection makes it difficult to retain tokens that are truly valuable, especially for high-confusing tokens near the decision boundary. To this end, we propose a AVEX-Prune, an RL-based audio-visual dynamic token pruning method in this work. In our AVEX-Prune, an audio-visual token exchange strategy is proposed to select truly valuable tokens by replacing low-confidence retained tokens with high-confidence candidate tokens from the same or the other modality, and measuring the differences in caption generation from token swaps. AVEX-Prune preserves full-token quality at a 40% retention ratio on both VILA 1.5-8B (54.5 vs. 54.6) and VideoLLaMA 2 (57.0 vs. 56.8).
• Abstract（参考訳）: 音声-視覚キャプションは、ビデオおよびオーディオコンテンツから自然言語記述を生成する。 マルチモーダル LLM はこのタスクを前進させたが、両方のモダリティは LLM 入力に多くのトークンを寄与し、自己注意を2次的に準備する。 既存のトークンプルーニング法は通常、トークンを注意、サリエントロピー、あるいはクロスエントロピー損失で保持するが、ハードしきい値の選択は、特に決定境界付近の高密度トークンに対して、真に価値のあるトークンを保持するのを難しくする。 そこで本研究では,RLに基づく音声視覚動的トークン解析手法であるAVEX-Pruneを提案する。 AVEX-Pruneでは、低信頼保持トークンを同一または他のモダリティからの高信頼候補トークンに置き換え、トークンスワップからのキャプション生成の違いを測定することによって、真に価値のあるトークンを選択するための音声-視覚トークン交換戦略が提案されている。 AVEX-Pruneは、VILA 1.5-8B (54.5 vs. 54.6) と VideoLLaMA 2 (57.0 vs. 56.8) の両方で、40%の保持率でフルトーケンの質を保っている。

関連論文リスト

• Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition [58.25449304752214]
  生音声が既に利用可能である場合に、明示的な音響的手がかりが根拠となるかどうかを考察する。 標準化されたeGeMAPSパラ言語特徴集合から6つの解釈可能な音響概念トークンを導出する。 調整されたトークンは平均リコール(UAR)を改善するが、シャッフル、競合、破損したトークンはパフォーマンスを低下させる。 トークンのみの介入は、ALMに基づく感情計算において、オーディオグラウンドドキューの使用、堅牢性、解釈可能性を調べるための実用的な方法である、と我々は主張する。
  論文  参考訳（メタデータ） (2026-06-05T14:26:06Z)
• Keep What Audio Cannot Say: Context-Preserving Token Pruning for Omni-LLMs [38.874953063372416]
  推論時間トークンのプルーニングフレームワークとしてContextGuardを提案する。 ContextGuardは、音声から粗い視覚的セマンティクスを予測し、ビデオトークンをプーンする。 入力トークンの55%をプルーニングしながら、6つのベンチマークのうち5つでフルトーケンレベルのパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-05-12T06:35:29Z)
• ReDiPrune: Relevance-Diversity Pre-Projection Token Pruning for Efficient Multimodal LLMs [16.523460406504604]
  ReDiPrune(ReDiPrune)は、視覚条件のプロジェクタに適用される、トレーニング不要のトークンプルーニング手法である。 視覚エンコーダ出力から直接情報トークンを選択し、きめ細かい空間的および意味的な手がかりを保存する。 4つのビデオと5つの画像ベンチマークの精度と効率のトレードオフを一貫して改善する。
  論文  参考訳（メタデータ） (2026-03-25T18:01:19Z)
• TrimTokenator: Towards Adaptive Visual Token Pruning for Large Multimodal Models [4.779482139419908]
  テキストトークンと意味的に視覚トークンを除去する相互情報に基づくトークンプルーニング戦略を導入する。 LLaVA-15-7BやLLaVA-7Bといったモデルでは,テキストトークンを88.9%削減しながら高い性能を維持している。
  論文  参考訳（メタデータ） (2025-08-30T02:43:50Z)
• ElasticTok: Adaptive Tokenization for Image and Video [109.75935878130582]
  我々は、フレームを可変数のトークンに適応的にエンコードする、事前のフレームを条件付けするElasticTokを紹介する。 推論中、ElasticTokは必要に応じてトークンを動的に割り当てる。 画像とビデオに対する評価は,トークンの有効利用におけるアプローチの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-10-10T20:54:15Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)
• Token-level Adaptive Training for Neural Machine Translation [84.69646428587548]
  異なるトークンが異なる周波数で現れるため、自然言語にはトークンの不均衡現象が存在する。 バニラNMTモデルは、通常、異なる周波数のターゲットトークンに対して、自明な等重の目的を採用する。 低周波トークンは、無視された後に翻訳品質に影響を与える重要な意味情報を運ぶことができる。
  論文  参考訳（メタデータ） (2020-10-09T05:55:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。