論文の概要: OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models

• arxiv url: http://arxiv.org/abs/2605.18041v1
• Date: Mon, 18 May 2026 08:33:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.127055
• Title: OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models
• Title（参考訳）: OmniSelect: 効率的なOmni-modal大言語モデルに対する動的モダリティを考慮したトーケン圧縮
• Authors: Morunliu Yang, Ruotao Xu, Le Li, Yue Wang, Jianxin Zhang, Juntao Li, Yihang Lou, Siwei Feng, Peifeng Li,
• Abstract要約: 本稿では,マルチモーダル入力に対する適切な圧縮戦略を動的に選択する,トレーニングフリーなモダリティ適応型トークンプルーニングフレームワークを提案する。 本手法は, 訓練を必要とせず, 高い性能を維持しつつ, 効率的なマルチモーダルトークン削減を実現する。
• 参考スコア（独自算出の注目度）: 49.34557936004057
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Omnimodal large language models (OmniLLMs) have recently gained increasing attention for unified audio-video understanding. However, processing long multimodal token sequences introduces substantial computational overhead, making efficient token compression crucial. Existing methods typically rely on fixed, modality-specific guidance, which fails to account for the varying importance of modalities across different queries. To address this limitation, we propose $\textbf{OmniSelect}$, a training-free, modality-adaptive token pruning framework that dynamically selects appropriate compression strategies for multimodal inputs. Specifically, we leverage a lightweight AudioCLIP model to estimate cross-modal relevance and categorize each input into three pruning regimes: Audio-Centric, Video-Centric, and Uniform pruning. Based on these relevance scores, OmniSelect further performs fine-grained token pruning within each temporal group, adaptively allocating pruning ratios to preserve informative tokens across modalities. By explicitly modeling modality preference and enabling dynamic strategy selection, OmniSelect effectively avoids the pitfalls of one-size-fits-all compression. Extensive experiments demonstrate that our method achieves efficient multimodal token reduction while maintaining strong performance, without requiring any additional training.
• Abstract（参考訳）: OmniLLMs (Omnimodal large language model) は近年,音声・ビデオの統一化に注目が集まっている。 しかし、長いマルチモーダルトークンシーケンスを処理すれば計算オーバーヘッドが大きくなり、効率的なトークン圧縮が重要となる。 既存のメソッドは通常、固定されたモダリティ固有のガイダンスに依存しており、異なるクエリ間でのモダリティの重要性の相違を考慮できない。 この制限に対処するため,マルチモーダル入力に対する適切な圧縮戦略を動的に選択するトレーニングフリーなモダリティ適応型トークンプルーニングフレームワークである$\textbf{OmniSelect}$を提案する。 具体的には、軽量なAudioCLIPモデルを用いて、クロスモーダルな妥当性を推定し、各入力を3つのプルーニングレジーム(Audio-Centric, Video-Centric, Uniform pruning)に分類する。 これらの関連性スコアに基づいて、OmniSelectはさらに、各時間群内できめ細かなトークンプルーニングを行い、プルーニング比を適応的にアロケートして、モダリティを越えて情報的トークンを保存する。 モダリティの選好を明示的にモデル化し、動的戦略選択を可能にすることで、OmniSelectはワンサイズ圧縮の落とし穴を効果的に回避する。 大規模な実験により, 付加的な訓練を必要とせず, 高い性能を維持しつつ, 効率的なマルチモーダルトークン削減を実現することができた。

関連論文リスト

• OmniJigsaw: Enhancing Omni-Modal Reasoning via Modality-Orchestrated Reordering [53.30273345137238]
  我々は、時間的順序付けプロキシタスクに基づいて構築された汎用的な自己教師型フレームワークであるOmniJigsawを提案する。 クロスモーダル統合を強制するために、ジョイントモダリティ統合、サンプルレベルモダリティ選択、クリップレベルモダリティマスキングが使用される。 両モードのショートカット現象'を共同モダリティ統合で明らかにし,細粒度クリップレベルのモダリティマスキングがこの問題を緩和することを示した。
  論文  参考訳（メタデータ） (2026-04-09T13:09:40Z)
• DASH: Dynamic Audio-Driven Semantic Chunking for Efficient Omnimodal Token Compression [5.201210378318278]
  トークン圧縮と意味構造を協調する動的オーディオ駆動セマンティックcHunking(DASH)を提案する。 DASHは音声埋め込みをセマンティックアンカーとして扱い、コサイン類似性不連続性によって境界候補を検出する。 AVUT、VideoMME、WorldSenseの実験では、DASHは従来の方法に比べて高い圧縮比を達成しつつ、優れた精度を維持している。
  論文  参考訳（メタデータ） (2026-03-15T15:22:06Z)
• OmniRet: Efficient and High-Fidelity Omni Modality Retrieval [51.80205678389465]
  OmniRetは,テキスト,視覚,音声の3つの重要なモダリティにまたがる複雑なクエリを処理可能な,最初の検索モデルである。 提案モデルでは,コンポジションクエリ,音声,ビデオ検索のタスクにおいて,最先端のモデルを用いたオンパーパフォーマンスを実現しつつ,大幅な改善を実現している。
  論文  参考訳（メタデータ） (2026-03-02T17:19:55Z)
• Omni-C: Compressing Heterogeneous Modalities into a Single Dense Encoder [18.13981375699951]
  ヘテロジニアスモダリティ間の競合共有表現を学習する単一高密度トランスフォーマーベースのエンコーダであるOmni-Cを提案する。 バックボーン内のパラメータ共有を最大化することにより、Omni-CはMoE、ペア管理、ルーティングを必要とせずに、モダリティ間の競合を効果的に軽減する。 実験では、Omni-Cは単調タスクとクロスモデルタスクのエキスパートモデルに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-27T06:41:25Z)
• OmniSIFT: Modality-Asymmetric Token Compression for Efficient Omni-modal Large Language Models [42.615226139135174]
  我々はOmni-LLM向けに設計されたトークン圧縮フレームワークであるOmniSIFTを提案する。 フレームワーク全体が、差別化可能なストレートスルー推定器を通じてエンドツーエンドに最適化されている。 オリジナルのトークンコンテキストの25%に過ぎないため、OmniSIFTはすべての圧縮ベースラインを一貫して上回り、複数のタスクでフルトーケンモデルのパフォーマンスを上回ります。
  論文  参考訳（メタデータ） (2026-02-04T17:51:05Z)
• VisionSelector: End-to-End Learnable Visual Token Compression for Efficient Multimodal LLMs [82.72388893596555]
  MLLM(Multimodal Large Language Models)は、計算とメモリのボトルネックに遭遇する。 従来のトークン圧縮技術は、重要な情報を破棄するリスクを負うルールによって制約されることが多い。 我々は,トークン圧縮をエンドツーエンドの学習可能な決定プロセスに再構成する軽量なプラグアンドプレイフレームワークとして,トークン圧縮を再構成する。
  論文  参考訳（メタデータ） (2025-10-18T17:54:18Z)
• Efficient Multi-modal Long Context Learning for Training-free Adaptation [96.21248144937627]
  本稿では,マルチモーダル長文脈学習(EMLoC)について紹介する。 モデル入力に直接デモ例を埋め込む。 長いコンテキストのマルチモーダル入力をコンパクトでタスク固有のメモリ表現に凝縮する。
  論文  参考訳（メタデータ） (2025-05-26T10:49:44Z)
• Robust Multimodal Learning via Cross-Modal Proxy Tokens [15.489426398410346]
  マルチモーダルモデルは、推論中に1つ以上のモダリティが欠落している場合、大きなパフォーマンス低下を経験することが多い。 我々は,すべてのモダリティが利用可能である場合に高い性能を維持しつつ,モダリティの欠如に対するロバスト性を高める,シンプルで効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-29T18:15:49Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。