論文の概要: O-MARC: Omni Memory-Augmented Compression Distillation for Efficient Video Understanding
- arxiv url: http://arxiv.org/abs/2605.26584v1
- Date: Tue, 26 May 2026 06:07:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:41.69592
- Title: O-MARC: Omni Memory-Augmented Compression Distillation for Efficient Video Understanding
- Title（参考訳）: O-MARC: 効率的なビデオ理解のためのOmniメモリ拡張圧縮蒸留
- Abstract要約: 我々は,高精細な視覚記憶と時間的接地されたオーディオアンカーを保存できる,訓練用フリープラグ・イン・圧縮法であるOMACを紹介する。
メモリ圧縮マルチモーダルコンテキストで学習するための圧縮蒸留フレームワークであるO-MARCについても紹介する。
Qwen2.5-Omni-3Bでは、O-MARCは4つのベンチマークの平均スコアを45.8に改善し、44.1とOmniZipを41.0で上回った。
- 参考スコア（独自算出の注目度）: 16.003413095973784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Omnimodal large language models enable unified audio video understanding, but long joint token sequences make inference costly, and existing benchmarks do not fully isolate audio visual association in noisy user generated videos. We introduce UGC-AVQA, a public UGC benchmark with 1,000 videos and 4,816 QA pairs, where an audio removal test ensures that benchmark questions require both acoustic and visual evidence. To reduce inference cost, we propose OMAC, a training free plug in compression method that preserves salient visual memory and temporally grounded audio anchors. To further make compact models robust to compressed inputs, we introduce O-MARC, a compression distillation framework for learning with memory compressed multimodal contexts. On Qwen2.5-Omni-3B, O-MARC improves the average score across four benchmarks to 45.8, outperforming full token inference at 44.1 and OmniZip at 41.0. OMAC also keeps inference efficient, reducing latency by 34.6\% (1.53$\times$ speedup) and memory by 34.7\% compared with full token inference.
- Abstract（参考訳）: Omnimodal Large Language Modelは、オーディオビデオの統一化を可能にするが、長いジョイントトークンシーケンスは、推論にコストがかかり、既存のベンチマークでは、ノイズの多いユーザ生成ビデオにおいて、音声視覚関連を完全に分離することができない。
UGC-AVQAは1,000の動画と4,816のQAペアを備えた公開UGCベンチマークである。
推定コストを削減するため,高精細な視覚記憶と時間的グラウンドのオーディオアンカーを格納する訓練自由プラグ圧縮法であるOMACを提案する。
さらに、圧縮された入力に対して堅牢なコンパクトモデルを構築するために、メモリ圧縮マルチモーダルコンテキストで学習する圧縮蒸留フレームワークO-MARCを導入する。
Qwen2.5-Omni-3Bでは、O-MARCは4つのベンチマークの平均スコアを45.8に改善し、44.1とOmniZipを41.0で上回った。
OMACは推論の効率も保ち、完全なトークン推論と比較してレイテンシを34.6\%(1.53$\times$ speedup)、メモリを34.7\%削減している。
関連論文リスト
- Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文 参考訳（メタデータ） (2026-08-10T07:49:10Z) - Deferred Audio Pruning with Local Audio-Visual Dynamics for Omni-LLMs [13.179456385239481]
A-Packは、クエリ条件のマルチモーダルインタラクションが出現するまで、オーディオプルーニングを無効にするフレームワークである。
A-Packは評価済みのメソッドの中で最も高い平均性能を達成する。
FLOPを最大78%削減し、復号スループットを最大2.21倍改善する。
論文 参考訳（メタデータ） (2026-08-09T16:18:41Z) - VoxZip: Semantic-Anchored Temporal KV Cache Compression for Long-Context Audio Inference [53.883871460875234]
VoxZipは、セマンティックアンコールされたKVキャッシュ圧縮フレームワークである。
第1段階では、音声トークンを時間的に調整、圧縮、融合するために明示的なセマンティックアンカーとして自動音声認識(ASR)文字を使用する。
第2段階では、時間的に減衰した蓄積された注意に基づいて動的フィルタリング戦略を採用し、非定常トークンを除去する。
論文 参考訳（メタデータ） (2026-08-09T08:17:18Z) - OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models [72.34361439042634]
我々は,OmniLLMのトレーニング不要なクエリ誘導トークン圧縮手法を提案し,ビデオとオーディオの重要度を独立に推定する。
Qwen2.5-Omniモデルの4つのオーディオ・ビジュアル・ベンチマークによる実験は、OmniFocusが低トークン保持比で強い圧縮性能を維持していることを示している。
論文 参考訳（メタデータ） (2026-07-03T07:41:00Z) - AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression [22.818321106501788]
AVOCは、Omni-modal Large Language Modelsにおける長文音声ビデオ理解のためのフレームワークである。
AVOCは、ロングフォームオーディオビデオベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-06-23T08:06:58Z) - OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs [30.52254659395564]
我々は,音声視覚大言語モデル(LLM)のためのメモリ効率の高いストリーミングフレームワークであるOmniMemを紹介する。
すべてのトークンを均一に扱う既存の圧縮方法とは異なり、OmniMemはメモリ割り当て戦略を導入している。
OmniMemは、トレーニングなしの強力な圧縮ベースラインを、同じメモリ予算で2～4%の精度で継続的に改善することを示す。
論文 参考訳（メタデータ） (2026-05-26T19:12:13Z) - MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。
MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。
長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
論文 参考訳（メタデータ） (2026-05-21T10:13:03Z) - OmniRefine: Alignment-Aware Cooperative Compression for Efficient Omnimodal Large Language Models [14.355322423471018]
我々は,Omni-LLMにおける効率的な音声・視覚トークン圧縮のためのトレーニングフリー2段階フレームワークを提案する。
第一に、対応保存チャンクリファインメントは、ネイティブチャンク境界をクロスモーダルな圧縮ユニットに洗練する。
第二に、Modality-Aware Cooperative Compressionは、各改良されたユニット内のビデオトークンとオーディオトークンを共同で圧縮し、重要な証拠を保持しながら冗長性を低下させる。
論文 参考訳（メタデータ） (2026-05-12T12:42:44Z) - Open-TQ-Metal: Fused Compressed-Domain Attention for Long-Context LLM Inference on Apple Silicon [0.0]
我々は、Apple Siliconに融合圧縮ドメインアテンションの最初の実装であるOpen-TQ-Metalを紹介する。
Llama 3.1 70Bの128Kコンテクスト推論を可能にする。
Open-TQ-MetalはKVキャッシュをオンザフライでInt4に量子化し、圧縮された表現に直接注意を計算する。
論文 参考訳（メタデータ） (2026-04-18T10:39:28Z) - Pushing the Limits of On-Device Streaming ASR: A Compact, High-Accuracy English Model for Low-Latency Inference [5.685908474026849]
エッジデバイス上での高品質な自動音声認識(ASR)は、GPUアクセラレーションなしでCPUで完全に動作している間に、精度、レイテンシ、メモリフットプリントを共同で最適化するモデルを必要とする。
我々は,エンコーダデコーダ,トランスデューサ,LDMベースのパラダイムを包含し,バッチ,チャンク,ストリーミング推論モードで評価する,最先端のASRアーキテクチャの体系的研究を行った。
推奨構成であるint4 k-quant変種は、8つの標準ベンチマークで平均8.20%のストリーミングWERを実現し、0.56秒のアルゴリズムレイテンシでCPU上でのリアルタイムよりも快適に動作します。
論文 参考訳（メタデータ） (2026-04-16T00:04:32Z) - One Token per Highly Selective Frame: Towards Extreme Compression for Long Video Understanding [51.08792182064565]
長いビデオ理解は、膨大なフレーム数のため、視覚言語モデル(VLM)にとって本質的に困難である。
通常、ビデオフレームは数十から数百のトークンに拡張されるため、大きな言語モデル(LLM)のコンテキスト長は制限され、VLMはフレームをわずかに知覚し、時間的情報を失う。
本稿では,XComp という長大なビデオ理解のための極端な圧縮モデルを提案する。
論文 参考訳（メタデータ） (2026-04-15T17:59:52Z) - KV Cache Quantization for Self-Forcing Video Generation: A 33-Method Empirical Study [0.0]
本稿では, Wan2.1 ベースの自己強制スタック上での自己強制ビデオ生成のための KV-cache 圧縮に関する総合的研究を行う。
本研究は,33種類の量子化とキャッシュ・ポリティクス,610個のプロンプトレベルの観測,63個のベンチマークレベルの要約について検討した。
我々は,ピークVRAM,ランタイム,圧縮率,VBench画像品質,BF16参照忠実度(SSIM,LPIPS,PSNR),端末ドリフトを共同評価した。
論文 参考訳（メタデータ） (2026-03-29T01:35:16Z) - PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。
効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
論文 参考訳（メタデータ） (2026-01-07T19:51:06Z) - OmniZip: Audio-Guided Dynamic Token Compression for Fast Omnimodal Large Language Models [21.542205813984243]
本稿では,マルチモーダルトークン表現と推論を最適化する,トレーニング不要な音声視覚トークン圧縮フレームワークを提案する。
具体的には、OmniZipはまず健全な音声トークンを特定し、その後、各タイムグループの音声保持スコアを計算して情報をキャプチャする。
タイムウィンドウ毎に、OmniZipはインターリーブ時間スキームを使用してビデオトークンを圧縮する。
論文 参考訳（メタデータ） (2025-11-18T15:22:32Z) - AudioMarathon: A Comprehensive Benchmark for Long-Context Audio Understanding and Efficiency in Audio LLMs [53.248502396225724]
AudioMarathonは、ロングフォームオーディオの理解と推論の効率を評価するために設計されたベンチマークである。
我々は、最先端のLALMを評価し、音声の長さが大きくなるにつれて、明らかな性能低下を観察する。
その結果、現在のLALM間での大きなギャップが示され、時間的推論の改善の必要性が浮き彫りになった。
論文 参考訳（メタデータ） (2025-10-08T17:50:16Z) - MiniCache: KV Cache Compression in Depth Dimension for Large Language Models [48.03117580340151]
キーバリュー(KV)キャッシュは、以前に生成されたトークンのキー値状態を格納する。
KVキャッシュのサイズはシーケンス長とともに線形に増加し、長いコンテキスト入力と広範囲なシーケンス生成を必要とするアプリケーションの課題を提起する。
レイヤ間のKVキャッシュを,新しい奥行きの観点から圧縮する,MiniCacheという,シンプルで効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2024-05-23T09:43:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。