論文の概要: OmniDelta: Skill-Driven Budget Allocation for Token Compression in OmniLLMs
- arxiv url: http://arxiv.org/abs/2607.25669v1
- Date: Tue, 28 Jul 2026 12:50:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.840648
- Title: OmniDelta: Skill-Driven Budget Allocation for Token Compression in OmniLLMs
- Title（参考訳）: OmniDelta: OmniLLMにおけるトークン圧縮のためのスキル駆動型予算配分
- Abstract要約: 本稿では,意図認識型モーダルアロケーションとコンテンツ認識型イントラモーダルアロケーションを併用した,トレーニングフリーなスキル駆動型フレームワークを提案する。
Qwen2.5-Omni-7Bの25%のトークン保持で、OmniDeltaはGPUメモリを22.0%削減し、フルトークン推論よりも1.64倍のエンドツーエンドのスピードアップを達成する。
- 参考スコア（独自算出の注目度）: 27.392988683974256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Emerging Omni-modal Large Language Models (OmniLLMs) enable unified understanding of text, audio, and video, but their long audio-video token sequences introduce substantial memory and inference costs. Existing compression methods mainly focus on selecting important tokens under fixed budgets, leaving the preceding budget-allocation problem underexplored. We show that direct query-to-audio/video similarity is unreliable for inter-modal budget allocation, and that uniform intra-modal budgets can miss key evidence while retaining redundant content. To address these limitations, we propose OmniDelta, a training-free, skill-driven framework that couples intent-aware inter-modal allocation with content-aware intra-modal allocation. OmniDelta first constructs audio and video skill pools to shift the fixed retained-token budget according to query demand, then reallocates modality budgets over audio segments and video frames using local complexity and temporal redundancy. The resulting local budgets can be combined with existing pruning strategies, preserving the total retained-token ratio while changing where the budget is spent. Experiments on four audio-video benchmarks with two Qwen2.5-Omni models show that OmniDelta establishes a new accuracy-efficiency Pareto frontier across pruning ratios. At 25% token retention on Qwen2.5-Omni-7B, OmniDelta reduces GPU memory by 22.0% and achieves a 1.64x end-to-end speedup over full-token inference.
- Abstract（参考訳）: Omni-modal Large Language Models (OmniLLMs) は、テキスト、オーディオ、ビデオの統一的な理解を可能にするが、長いオーディオビデオトークンシーケンスは、かなりのメモリと推論コストをもたらす。
既存の圧縮法は主に固定予算の下で重要なトークンの選択に重点を置いており、前回の予算配分問題は未解決のままである。
モーダル間予算配分には直接的なクエリ・ツー・オーディオ/ビデオの類似性は信頼できないこと,また冗長なコンテンツを維持しながらモダル内予算の統一が重要な証拠を見逃す可能性があることを示す。
これらの制限に対処するため,本研究では,意図認識型モーダルアロケーションとコンテンツ認識型イントラモーダルアロケーションを併用した,トレーニングフリーでスキル駆動型フレームワークであるOmniDeltaを提案する。
OmniDeltaはまず音声とビデオのスキルプールを構築し、クエリの要求に応じて固定された残量予算をシフトさせ、その後、局所的な複雑さと時間的冗長性を利用してオーディオセグメントとビデオフレームにモダリティ予算を割り当てる。
得られた地方予算は既存の刈り取り戦略と組み合わされ、予算が費やされる場所を変えながら、総維持率を維持できる。
2つのQwen2.5-Omniモデルによる4つのオーディオビデオベンチマークの実験では、OmniDeltaがプルーニング比を越えて新しい精度効率のParetoフロンティアを確立することが示されている。
Qwen2.5-Omni-7Bの25%のトークン保持で、OmniDeltaはGPUメモリを22.0%削減し、フルトークン推論よりも1.64倍のエンドツーエンドのスピードアップを達成する。
関連論文リスト
- Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文 参考訳（メタデータ） (2026-08-10T07:49:10Z) - OmniScope: Modality-Decoupled Token Compression for Omnimodal Large Language Models [4.202254591215664]
音声とビデオの関連性を別々に推定しながら,クエリを共有意味アンカーとして使用する,トレーニング不要なトークン圧縮フレームワークを提案する。
4つのオーディオビデオベンチマークと2つのQwen2.5-Omniモデルスケールで、OmniScopeはすべての圧縮設定で最高の平均精度を達成する。
これらの結果は、OmniLLM推論の単純な設計原則を示唆している。
論文 参考訳（メタデータ） (2026-07-25T13:16:04Z) - Surprise Forcing: What to Remember, When to Skip in Long Video Generation [65.0022589149937]
自己回帰拡散をストリーミングすることで、ミニスケールのビデオ合成が実用的になるが、そのコンテキスト境界と固定化スケジュールはリソースを均一に割り当てる。
我々は、両方の制限をオンラインリソース割り当て問題として扱う、トレーニング不要のフレームワークであるSurprise Forcingを紹介した。
VBench、VBench-Long、VBench-2.0の実験では、提案されたアロケーション戦略は、リアルタイムストリーミングスループットを維持しながら、長時間の一貫性と視覚的品質を改善する。
論文 参考訳（メタデータ） (2026-07-20T18:37:58Z) - OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models [72.34361439042634]
我々は,OmniLLMのトレーニング不要なクエリ誘導トークン圧縮手法を提案し,ビデオとオーディオの重要度を独立に推定する。
Qwen2.5-Omniモデルの4つのオーディオ・ビジュアル・ベンチマークによる実験は、OmniFocusが低トークン保持比で強い圧縮性能を維持していることを示している。
論文 参考訳（メタデータ） (2026-07-03T07:41:00Z) - Native Active Perception as Reasoning for Omni-Modal Understanding [96.19360756363501]
我々は,OmniAgentをPOMDPに基づく反復的観察-判断サイクルとして定式化するために提案する。
OmniAgentはオンデマンドアクションを実行し、音声視覚キューを永続的なテキストメモリに選択的に蒸留する。
我々は,OmniAgentがオープンソースモデル間の最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2026-06-17T17:59:56Z) - OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs [30.52254659395564]
我々は,音声視覚大言語モデル(LLM)のためのメモリ効率の高いストリーミングフレームワークであるOmniMemを紹介する。
すべてのトークンを均一に扱う既存の圧縮方法とは異なり、OmniMemはメモリ割り当て戦略を導入している。
OmniMemは、トレーニングなしの強力な圧縮ベースラインを、同じメモリ予算で2～4%の精度で継続的に改善することを示す。
論文 参考訳（メタデータ） (2026-05-26T19:12:13Z) - OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models [49.34557936004057]
本稿では,マルチモーダル入力に対する適切な圧縮戦略を動的に選択する,トレーニングフリーなモダリティ適応型トークンプルーニングフレームワークを提案する。
本手法は, 訓練を必要とせず, 高い性能を維持しつつ, 効率的なマルチモーダルトークン削減を実現する。
論文 参考訳（メタデータ） (2026-05-18T08:33:52Z) - OmniRefine: Alignment-Aware Cooperative Compression for Efficient Omnimodal Large Language Models [14.355322423471018]
我々は,Omni-LLMにおける効率的な音声・視覚トークン圧縮のためのトレーニングフリー2段階フレームワークを提案する。
第一に、対応保存チャンクリファインメントは、ネイティブチャンク境界をクロスモーダルな圧縮ユニットに洗練する。
第二に、Modality-Aware Cooperative Compressionは、各改良されたユニット内のビデオトークンとオーディオトークンを共同で圧縮し、重要な証拠を保持しながら冗長性を低下させる。
論文 参考訳（メタデータ） (2026-05-12T12:42:44Z) - Not All Tokens Need 40 Steps: Heterogeneous Step Allocation in Diffusion Transformers for Efficient Video Generation [53.176242285107485]
速度のダイナミクスに基づいて異なる冗長トークンに様々なステップ予算を割り当てる動き自由推論を導入する。
結果として生じるシーケンス長ミスマッチを解決するため、HSAはKV-cache機構を導入し、アクティブトークンが全シーケンスに参加することができる。
We evaluate HSA on the Wan-2 and LTX-2 models for both text-to-video (T2V) and image-to-video (2V) generation。
論文 参考訳（メタデータ） (2026-05-07T19:49:47Z) - Small Vision-Language Models are Smart Compressors for Long Video Understanding [73.65465038390771]
長時間のビデオ理解は、欲求に満ちたコンテキストではなく、意図駆動の効率に頼っている。
本稿では,下流の理解のために長い動画を圧縮する効率的なクエリ認識フレームワークであるTempoを提案する。
テストでは、Tempoが1時間のビデオを理論的限界以下に圧縮し、真のロングフォームビデオ理解が意図駆動の効率に依存することを示した。
論文 参考訳（メタデータ） (2026-04-09T11:40:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。