Fugu-MT 論文翻訳(概要): OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models

論文の概要: OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models

arxiv url: http://arxiv.org/abs/2608.03812v1
Date: Tue, 04 Aug 2026 15:23:42 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-05 15:30:23.266497
Title: OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models
Title（参考訳）: OmniPack: 効率的なOmniモード大言語モデルのための統一トークン圧縮
Abstract要約: OmniPackは,大規模言語モデルの前に構造的圧縮をコーディネートする,トレーニング不要のフレームワークである。多様なタスク関連表現をテキストガイダンスとオーディオ・ビジュアル・コラボレーションを通じて統合する。実験によると、OmniPackはさまざまな保持率で最高のパフォーマンスと効率のトレードオフを実現している。
参考スコア（独自算出の注目度）: 22.092281562681297
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Omni-modal large language models (Omni-LLMs) have achieved remarkable performance on audio-visual understanding tasks, but processing long and highly redundant visual and audio token sequences incurs substantial computational overhead, demanding aggressive token compression for efficient deployment. Existing methods often degrade at low token budgets: pre-LLM compression may discard structurally important and globally distributed evidence, whereas inner-LLM compression often underexploits query-conditioned audio-visual collaboration. To address these limitations, we propose OmniPack, a training-free framework that coordinates structural compression before the LLM with task-relevant semantic refinement within the LLM. Before the LLM, OmniPack removes structural redundancy through modality-specific importance, global coverage, and similarity-aware merging. After sufficient multimodal interaction, it further consolidates diverse, task-relevant representations through textual guidance and audio-visual collaboration. Extensive experiments on five benchmarks with three Omni-LLM backbones demonstrate that OmniPack consistently achieves the best performance-efficiency trade-off across diverse retention ratios, outperforming all existing methods. Notably, on Qwen2.5-Omni-7B, OmniPack preserves 98.0% of the original performance while reducing FLOPs to 16.7%, and still retains 92.9% of the original performance with only 6.8% of the original FLOPs.
Abstract（参考訳）: Omni-LLM (Omni-Modal large language model) は、音声視覚理解タスクにおいて顕著な性能を達成しているが、長時間かつ冗長な視覚および音声トークンシーケンスの処理は、高い計算オーバーヘッドを生じさせ、効率的な展開のために積極的なトークン圧縮を要求する。プリLLM圧縮は構造的に重要で、グローバルに分散した証拠を捨てる可能性があるが、インナーLLM圧縮はクエリ条件のオーディオと視覚のコラボレーションを過小評価することが多い。これらの制約に対処するため,LLM 以前の構造的圧縮と LLM 内のタスク関連セマンティックリファインメントを協調する,トレーニング不要なフレームワークである OmniPack を提案する。 LLMの前には、OmniPackはモダリティ固有の重要性、グローバルカバレッジ、類似性を意識したマージを通じて構造的冗長性を取り除く。十分なマルチモーダルインタラクションの後、テキストガイダンスや音声と視覚の協調を通じて、多種多様なタスク関連表現をさらに強化する。 3つのOmni-LLMバックボーンを持つ5つのベンチマークの大規模な実験により、OmniPackは、さまざまな保持率で最高のパフォーマンスと効率のトレードオフを一貫して達成し、既存のすべてのメソッドより優れています。特にQwen2.5-Omni-7Bでは、OmniPackはオリジナルパフォーマンスの98.0%を維持し、FLOPを16.7%に下げ、オリジナルパフォーマンスの92.9%を維持し、オリジナルのFLOPの6.8%しか保持していない。

関連論文リスト

Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文参考訳（メタデータ） (2026-08-10T07:49:10Z)
OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models [72.34361439042634]
我々は,OmniLLMのトレーニング不要なクエリ誘導トークン圧縮手法を提案し,ビデオとオーディオの重要度を独立に推定する。 Qwen2.5-Omniモデルの4つのオーディオ・ビジュアル・ベンチマークによる実験は、OmniFocusが低トークン保持比で強い圧縮性能を維持していることを示している。
論文参考訳（メタデータ） (2026-07-03T07:41:00Z)
OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models [49.34557936004057]
本稿では,マルチモーダル入力に対する適切な圧縮戦略を動的に選択する,トレーニングフリーなモダリティ適応型トークンプルーニングフレームワークを提案する。本手法は, 訓練を必要とせず, 高い性能を維持しつつ, 効率的なマルチモーダルトークン削減を実現する。
論文参考訳（メタデータ） (2026-05-18T08:33:52Z)
OmniRefine: Alignment-Aware Cooperative Compression for Efficient Omnimodal Large Language Models [14.355322423471018]
我々は,Omni-LLMにおける効率的な音声・視覚トークン圧縮のためのトレーニングフリー2段階フレームワークを提案する。第一に、対応保存チャンクリファインメントは、ネイティブチャンク境界をクロスモーダルな圧縮ユニットに洗練する。第二に、Modality-Aware Cooperative Compressionは、各改良されたユニット内のビデオトークンとオーディオトークンを共同で圧縮し、重要な証拠を保持しながら冗長性を低下させる。
論文参考訳（メタデータ） (2026-05-12T12:42:44Z)
Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。 2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。 LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
論文参考訳（メタデータ） (2026-03-10T10:31:58Z)
Vision Token Reduction via Attention-Driven Self-Compression for Efficient Multimodal Large Language Models [34.12135666939555]
MLLM(Multimodal Large Language Models)は、複数の視覚トークンを全てのレイヤで処理することで、計算コストを大幅に削減する。 LLMの注意機構のみを用いて、視覚トークンを段階的に削減する、シンプルで広く適用可能な方法である、注意駆動型自己圧縮(ADSC)を導入する。 ADSCはFLOPを53.7%、KVキャッシュメモリを56.7%削減し、オリジナルモデルの98.2%を保存した。
論文参考訳（メタデータ） (2026-02-13T04:49:27Z)
OmniSIFT: Modality-Asymmetric Token Compression for Efficient Omni-modal Large Language Models [42.615226139135174]
我々はOmni-LLM向けに設計されたトークン圧縮フレームワークであるOmniSIFTを提案する。フレームワーク全体が、差別化可能なストレートスルー推定器を通じてエンドツーエンドに最適化されている。オリジナルのトークンコンテキストの25%に過ぎないため、OmniSIFTはすべての圧縮ベースラインを一貫して上回り、複数のタスクでフルトーケンモデルのパフォーマンスを上回ります。
論文参考訳（メタデータ） (2026-02-04T17:51:05Z)
HoliTom: Holistic Token Merging for Fast Video Large Language Models [32.620504076794795]
ビデオ言語モデル(ビデオLLM)は、ビデオ理解において優れるが、冗長なビデオトークンによる計算不効率に直面する。 HoliTomは、新しいトレーニング不要な全体的トークンフレームワークである。また,内部LLMトークンの類似性に基づくマージ手法を導入する。
論文参考訳（メタデータ） (2025-05-27T15:28:45Z)
Baichuan-Omni-1.5 Technical Report [78.49101296394218]
Baichuan-Omni-1.5は、Omni-modalの理解能力だけでなく、エンドツーエンドのオーディオ生成機能も備えたOmni-modalモデルである。マルチモーダルデータのための包括的データクリーニングと合成パイプラインを構築し,約500Bの高品質データを取得する。第二に、音声トケナイザは、音声から意味情報と音響情報をキャプチャし、シームレスな統合とMLLMとの互換性の強化を可能にするように設計されている。
論文参考訳（メタデータ） (2025-01-26T02:19:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。