論文の概要: OmniRefine: Alignment-Aware Cooperative Compression for Efficient Omnimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2605.12056v1
- Date: Tue, 12 May 2026 12:42:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.859879
- Title: OmniRefine: Alignment-Aware Cooperative Compression for Efficient Omnimodal Large Language Models
- Title（参考訳）: OmniRefine: 効率的なOmnimodal大言語モデルのためのアライメント対応協調圧縮
- Authors: Yuchen Deng, Zidang Cai, Hai-Tao Zheng, Jie Wang, Feidiao Yang, Yuxing Han,
- Abstract要約: 我々は,Omni-LLMにおける効率的な音声・視覚トークン圧縮のためのトレーニングフリー2段階フレームワークを提案する。
第一に、対応保存チャンクリファインメントは、ネイティブチャンク境界をクロスモーダルな圧縮ユニットに洗練する。
第二に、Modality-Aware Cooperative Compressionは、各改良されたユニット内のビデオトークンとオーディオトークンを共同で圧縮し、重要な証拠を保持しながら冗長性を低下させる。
- 参考スコア（独自算出の注目度）: 14.355322423471018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Omnimodal large language models (Omni-LLMs) show strong capability in audio-video understanding, but their practical deployment remains limited by high inference cost of long video streams and dense audio sequences. Despite recent progress, existing compression methods for Omni-LLMs typically rely on fixed or native compression units, which can disrupt cross-modal correspondence and the complementary information required for audio-video reasoning, making it difficult to improve inference efficiency while stably preserving performance. To address this, we propose OmniRefine, a training-free two-stage framework for efficient audio-visual token compression in Omni-LLMs. First, Correspondence-Preserving Chunk Refinement refines native chunk boundaries into cross-modally aligned compression units through frame-audio similarity and dynamic programming. Second, Modality-Aware Cooperative Compression jointly compresses video and audio tokens within each refined unit to reduce redundancy while preserving critical evidence. Extensive experiments show that OmniRefine achieves a better efficiency-performance trade-off than strong baselines and maintains stable performance under lower compression ratios. On WorldSense, it still reaches 46.7% accuracy at a 44% token retention ratio, nearly matching the full-token baseline. The code and interface will be released to facilitate further research.
- Abstract（参考訳）: オムニモーダルな大言語モデル(Omni-LLMs)は、音声・ビデオ理解において強力な能力を示すが、その実践的展開は、長大なビデオストリームと高密度なオーディオシーケンスの推論コストによって制限されている。
近年の進歩にもかかわらず、Omni-LLMの既存の圧縮手法は固定圧縮単位やネイティブ圧縮単位に依存しており、これはクロスモーダル対応とオーディオ・ビデオの推論に必要な補完情報を妨害し、安定して性能を保ちながら推論効率を向上させるのが困難である。
そこで本研究では,Omni-LLMにおける音声・視覚トークンの効率的な圧縮のためのトレーニング不要な2段階フレームワークであるOmniRefineを提案する。
第一に、対応保存チャンクリファインメントは、フレームオーディオの類似性と動的プログラミングにより、ネイティブチャンク境界をクロスモーダルな圧縮単位に洗練する。
第二に、Modality-Aware Cooperative Compressionは、各改良されたユニット内のビデオトークンとオーディオトークンを共同で圧縮し、重要な証拠を保持しながら冗長性を低下させる。
OmniRefineは、強いベースラインよりも優れた効率と性能のトレードオフを実現し、低い圧縮比下で安定した性能を維持している。
WorldSenseでは、44%のトークン保持率で46.7%の精度に達しており、ほぼ一致している。
コードとインターフェースは、さらなる研究を促進するためにリリースされます。
関連論文リスト
- One Token per Highly Selective Frame: Towards Extreme Compression for Long Video Understanding [51.08792182064565]
長いビデオ理解は、膨大なフレーム数のため、視覚言語モデル(VLM)にとって本質的に困難である。
通常、ビデオフレームは数十から数百のトークンに拡張されるため、大きな言語モデル(LLM)のコンテキスト長は制限され、VLMはフレームをわずかに知覚し、時間的情報を失う。
本稿では,XComp という長大なビデオ理解のための極端な圧縮モデルを提案する。
論文 参考訳（メタデータ） (2026-04-15T17:59:52Z) - DASH: Dynamic Audio-Driven Semantic Chunking for Efficient Omnimodal Token Compression [5.201210378318278]
トークン圧縮と意味構造を協調する動的オーディオ駆動セマンティックcHunking(DASH)を提案する。
DASHは音声埋め込みをセマンティックアンカーとして扱い、コサイン類似性不連続性によって境界候補を検出する。
AVUT、VideoMME、WorldSenseの実験では、DASHは従来の方法に比べて高い圧縮比を達成しつつ、優れた精度を維持している。
論文 参考訳（メタデータ） (2026-03-15T15:22:06Z) - Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。
2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。
LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
論文 参考訳（メタデータ） (2026-03-10T10:31:58Z) - OmniSIFT: Modality-Asymmetric Token Compression for Efficient Omni-modal Large Language Models [42.615226139135174]
我々はOmni-LLM向けに設計されたトークン圧縮フレームワークであるOmniSIFTを提案する。
フレームワーク全体が、差別化可能なストレートスルー推定器を通じてエンドツーエンドに最適化されている。
オリジナルのトークンコンテキストの25%に過ぎないため、OmniSIFTはすべての圧縮ベースラインを一貫して上回り、複数のタスクでフルトーケンモデルのパフォーマンスを上回ります。
論文 参考訳（メタデータ） (2026-02-04T17:51:05Z) - DIFFA-2: A Practical Diffusion Large Language Model for General Audio Understanding [58.29124051111574]
一般音声理解のための実用的な拡散型LALMであるDIFFA-2を紹介する。
DIFFA-2は音声エンコーダをアップグレードし、デュアルセマンティックとアコースティックのアダプタを採用し、4段階のカリキュラムで訓練されている。
MMSU、MMAU、MMARの実験では、DIFFA-2はDIFFAよりも一貫して改善されている。
論文 参考訳（メタデータ） (2026-01-30T16:44:23Z) - EchoingPixels: Cross-Modal Adaptive Token Reduction for Efficient Audio-Visual LLMs [28.295585578439212]
EchoingPixelsは、現実世界のシーンにおける視覚と音の共存と相互作用にインスパイアされたフレームワークである。
これは、モダリティごとに固定予算を使うのではなく、オーディオ・ビジュアル・トークンの合計プールからトークンを減らします。
オリジナルのトークンの5～20%しか使用せず、2～3倍のスピードアップとメモリ削減を実現している。
論文 参考訳（メタデータ） (2025-12-11T06:18:58Z) - VideoCompressa: Data-Efficient Video Understanding via Joint Temporal Compression and Spatial Reconstruction [55.66673587952058]
ビデオ理解モデルは、大規模データセットの禁止ストレージと計算コストによって、ますます制限されている。
VideoCompressaはビデオデータ合成のための新しいフレームワークで、動的潜在圧縮として問題を再構成する。
論文 参考訳（メタデータ） (2025-11-24T07:07:58Z) - OmniZip: Audio-Guided Dynamic Token Compression for Fast Omnimodal Large Language Models [21.542205813984243]
本稿では,マルチモーダルトークン表現と推論を最適化する,トレーニング不要な音声視覚トークン圧縮フレームワークを提案する。
具体的には、OmniZipはまず健全な音声トークンを特定し、その後、各タイムグループの音声保持スコアを計算して情報をキャプチャする。
タイムウィンドウ毎に、OmniZipはインターリーブ時間スキームを使用してビデオトークンを圧縮する。
論文 参考訳（メタデータ） (2025-11-18T15:22:32Z) - CoDiCodec: Unifying Continuous and Discrete Compressed Representations of Audio [7.093237513313511]
CoDiCodecは、要約埋め込みを通じてグローバル機能を効率的に符号化することで、制限を克服する新しいオーディオオートエンコーダである。
11Hzで圧縮された連続埋め込みと、同じ訓練されたモデルから2.38kbpsの速度で離散トークンを生成する。
我々の研究は、連続的な生成的モデリングパラダイムと離散的なモデリングパラダイムのギャップを埋め、オーディオ圧縮に対する統一的なアプローチを可能にする。
論文 参考訳（メタデータ） (2025-09-11T20:31:18Z) - LaCo: Efficient Layer-wise Compression of Visual Tokens for Multimodal Large Language Models [62.240460476785934]
視覚エンコーダの中間層内で効果的なトークン圧縮を実現する新しいフレームワークであるLaCo(Layer-wise Visual Token Compression)を提案する。
LaCoは,1)空間-チャネル変換によって隣接するトークンを体系的にマージするレイヤワイドピクセルシャッフル機構,2)非パラメトリックショートカットを用いた残差学習アーキテクチャ,の2つのコアコンポーネントを導入している。
論文 参考訳（メタデータ） (2025-07-03T03:42:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。