論文の概要: Out of Sight, Still in Mind: Token Compression for Omni-LLMs
- arxiv url: http://arxiv.org/abs/2607.21179v1
- Date: Thu, 23 Jul 2026 11:09:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.378987
- Title: Out of Sight, Still in Mind: Token Compression for Omni-LLMs
- Title（参考訳）: Omni-LLMのトーケン・コンプレッション(動画あり)
- Abstract要約: 本稿では,視覚的トークンを圧縮するフレームワークReMoを提案する。
2つのモデルスケールでのQwen2.5-Omniでは、ReMoは精度を損なわずに入力トークンの54%を除去する。
- 参考スコア（独自算出の注目度）: 34.925891815982865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The goal of this paper is to reduce the input token cost of Omni-modal large language models (Omni-LLMs) at inference time. Omni-LLMs reason jointly over audio, video and text, but the cost of the three streams is highly unbalanced: visual tokens account for the vast majority of the input, and are highly redundant. In this paper, we propose ReMo, a training-free framework that compresses visual tokens by redistributing their information across modalities: a visual token is kept only if its information appears nowhere else. ReMo achieves this in two ways: (i) it aligns audio and video in a common embedding space, and removes visual tokens already explained by the audio or by other visual tokens; and (ii) it replaces object-level visual tokens with compact text proxies, short descriptions of each object and its location, conveying the same content in far fewer tokens. On Qwen2.5-Omni at two model scales, ReMo removes 54% of the input tokens with no loss in accuracy. Indeed, it slightly exceeds the full-token model, reaching 101.2% and 101.3% of its average accuracy over five audio-visual benchmarks.
- Abstract（参考訳）: 本研究の目的は,Omni-modal large language model (Omni-LLMs) の入力トークンコストを推定時に削減することである。
Omni-LLMはオーディオ、ビデオ、テキストを併用するが、3つのストリームのコストは非常に不均衡である。
本稿では,視覚的トークンがどこにもない場合にのみ保持される,視覚的トークンを再分配することで,視覚的トークンを圧縮する学習自由フレームワークReMoを提案する。
ReMoはこれを2つの方法で達成します。
一 音声及び映像を共通の埋め込み空間に整列させ、既に音声又は他の視覚的トークンによって説明されている視覚的トークンを除去する。
(ii)オブジェクトレベルのビジュアルトークンをコンパクトテキストプロキシに置き換え、各オブジェクトとその位置の短い記述を行い、同じコンテンツをはるかに少ないトークンで伝達する。
2つのモデルスケールでのQwen2.5-Omniでは、ReMoは精度を損なわずに入力トークンの54%を除去する。
実際、5つのオーディオ・ビジュアル・ベンチマークの平均精度の101.2%と101.3%に達した。
関連論文リスト
- Omni-Prune: Query-Aware Unified Token Pruning for Efficient Omnimodal Large Language Models [18.902147033940434]
Omni-Pruneは、トレーニング不要で、クエリ対応のオーディオ-ビジュアルトークンプルーニングフレームワークである。
タスク関連のクロスモーダルな証拠を保持しながら、両方のモダリティから冗長性を取り除く。
最大3.25倍のプリフィルスピードアップと1.3倍のメモリ削減を実現し、フルモデル性能の99%を維持できる。
論文 参考訳（メタデータ） (2026-07-26T03:51:39Z) - OmniScope: Modality-Decoupled Token Compression for Omnimodal Large Language Models [23.801162485653478]
音声とビデオの関連性を別々に推定しながら,クエリを共有意味アンカーとして使用する,トレーニング不要なトークン圧縮フレームワークを提案する。
4つのオーディオビデオベンチマークと2つのQwen2.5-Omniモデルスケールで、OmniScopeはすべての圧縮設定で最高の平均精度を達成する。
これらの結果は、OmniLLM推論の単純な設計原則を示唆している。
論文 参考訳（メタデータ） (2026-07-25T13:16:04Z) - OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models [72.34361439042634]
我々は,OmniLLMのトレーニング不要なクエリ誘導トークン圧縮手法を提案し,ビデオとオーディオの重要度を独立に推定する。
Qwen2.5-Omniモデルの4つのオーディオ・ビジュアル・ベンチマークによる実験は、OmniFocusが低トークン保持比で強い圧縮性能を維持していることを示している。
論文 参考訳（メタデータ） (2026-07-03T07:41:00Z) - Audio-Visual Exchange-Aware Token Pruning for Efficient Audio-Visual Captioning [30.40330199901482]
AVEX-Pruneは,RLをベースとしたダイナミック・ダイナミック・トークン・プルーニング手法である。
AVEX-Prune は VILA 1.5-8B と VideoLLaMA 2 の両方でフルトーケン品質を40% の保持率で保持する。
論文 参考訳（メタデータ） (2026-06-09T08:04:06Z) - Keep What Audio Cannot Say: Context-Preserving Token Pruning for Omni-LLMs [38.874953063372416]
推論時間トークンのプルーニングフレームワークとしてContextGuardを提案する。
ContextGuardは、音声から粗い視覚的セマンティクスを予測し、ビデオトークンをプーンする。
入力トークンの55%をプルーニングしながら、6つのベンチマークのうち5つでフルトーケンレベルのパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-05-12T06:35:29Z) - ElasticTok: Adaptive Tokenization for Image and Video [109.75935878130582]
我々は、フレームを可変数のトークンに適応的にエンコードする、事前のフレームを条件付けするElasticTokを紹介する。
推論中、ElasticTokは必要に応じてトークンを動的に割り当てる。
画像とビデオに対する評価は,トークンの有効利用におけるアプローチの有効性を示すものである。
論文 参考訳（メタデータ） (2024-10-10T20:54:15Z) - SparseVLM: Visual Token Sparsification for Efficient Vision-Language Model Inference [45.11612407862277]
視覚言語モデル (VLM) では、視覚トークンはテキストトークンと比較して情報量が多すぎるにもかかわらず、計算オーバーヘッドがかなり大きい。
本稿では、余分なパラメータや微調整コストを不要とするSparseVLMと呼ばれるテキスト誘導型トレーニングフリートークン最適化機構を提案する。
論文 参考訳（メタデータ） (2024-10-06T09:18:04Z) - Matryoshka Query Transformer for Large Vision-Language Models [103.84600181927884]
我々は,Materyoshka Query Transformer (MQT)を導入し,推論中に画像をmビジュアルトークンにエンコードする。
単一のモデルを一度トレーニングし、フレキシブルかつ劇的に、推論時の視覚トークンの数を削減します。
MQT-LLAVAは,LLaVAの固定576の代わりに最大256トークンを用いて,11ベンチマークでLLaVA-1.5のパフォーマンスと一致した。
論文 参考訳（メタデータ） (2024-05-29T17:39:42Z) - How can objects help action recognition? [74.29564964727813]
より優れたビデオモデルを設計するために、オブジェクトの知識をどのように利用できるかを検討する。
まず,入力トークンの少数の保持が可能なオブジェクト誘導型トークンサンプリング戦略を提案する。
第二に、オブジェクト情報で特徴表現を豊かにするオブジェクト認識アテンションモジュールを提案する。
論文 参考訳（メタデータ） (2023-06-20T17:56:16Z) - DynamicViT: Efficient Vision Transformers with Dynamic Token
Sparsification [134.9393799043401]
入力に基づいて冗長なトークンを抽出する動的トークンスペーシフィケーションフレームワークを提案する。
入力トークンの66%を階層的にプルーニングすることで,FLOPの31%37%を大幅に削減し,スループットを40%以上向上する。
DynamicViTモデルは、ImageNetの最先端CNNやビジョントランスフォーマーと比較して、非常に競争力のある複雑性/精度のトレードオフを実現することができる。
論文 参考訳（メタデータ） (2021-06-03T17:57:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。