論文の概要: PCA: Persistence-Aware Compression and Aggregation for Fast Video Large Language Models
- arxiv url: http://arxiv.org/abs/2607.22726v1
- Date: Wed, 22 Jul 2026 05:17:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:14.844549
- Title: PCA: Persistence-Aware Compression and Aggregation for Fast Video Large Language Models
- Title（参考訳）: PCA: 高速ビデオ大言語モデルのためのパーシステンス認識圧縮と集約
- Abstract要約: 本稿では、エンコーディングステージの前に、高サンプリングの生の視覚情報を保存するためのトレーニング不要な$mathbfP$ersistence-Aware $mathbfC$ompressionと$mathbfA$ggregation (PCA)手法を提案する。
PCAは、既存の最先端のアプローチを効率と精度の両方で一貫して上回っている。
- 参考スコア（独自算出の注目度）: 63.31550146180189
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite advances in Video Large Language Models (VLLMs) that have displayed promising outcomes in video understanding, the redundancy in the long-duration frames remains a hindrance to efficient reasoning. This paper introduces a training-free $\mathbf{P}$ersistence-Aware $\mathbf{C}$ompression and $\mathbf{A}$ggregation (PCA) method designed to preserve high-fidelity raw visual information before the encoding stage. PCA can be built on arbitrary VLLMs and consists of two modules: 1) A Dynamic Downsampling (DD) module that adaptively removes redundant frames by analyzing frame-wise similarity. 2) A Persistence-Aware Motion Enhancement (PAME) module that enriches each selected keyframe by aggregating the temporal context of its neighbors, ensuring that essential information is preserved even after aggressive frame reduction. Our approach substantially reduces the computation of long-context modeling, while enhancing the performance of the baseline model. Extensive experiments demonstrate that PCA consistently outperforms existing state-of-the-art approaches in both efficiency and accuracy, achieving a speedup of 1.8$\times$ to 2.5$\times$ compared to the baseline VLLM. The code is open-sourced at https://github.com/Heisenberg10110/PCA.
- Abstract（参考訳）: ビデオ大言語モデル (VLLMs) の進歩はビデオ理解において有望な成果を示したが、長周期フレームの冗長性は効率的な推論の妨げとなっている。
本稿では、エンコーディングステージの前に高忠実な生の視覚情報を保存するために、トレーニング不要な$\mathbf{P}$ersistence-Aware $\mathbf{C}$ompressionと$\mathbf{A}$ggregation (PCA)手法を提案する。
PCAは任意のVLLM上に構築でき、2つのモジュールから構成される。
1) フレーム単位の類似性を解析することにより冗長フレームを適応的に除去する動的ダウンサンプリング(DD)モジュール。
2) 周囲の時間的文脈を集約し,それぞれの選択したキーフレームを充実させるPAMEモジュールにより,攻撃的フレーム縮小後も本質的な情報が保存されることを保証する。
提案手法は,ベースラインモデルの性能を向上しつつ,長期コンテキストモデリングの計算を大幅に削減する。
大規模な実験により、PCAは既存の最先端のアプローチを効率と精度の両方で一貫して上回り、ベースラインのVLLMと比較して1.8$\times$から2.5$\times$に高速化することを示した。
コードはhttps://github.com/Heisenberg10110/PCAで公開されている。
関連論文リスト
- Fast-Decoding Diffusion Language Models via Progress-Aware Confidence Schedules [25.251683954675958]
トレーニング不要でモデルに依存しない早期終了アルゴリズムであるSchEDを提案する。
SchEDは完全なロジットマージンを集約し、スムーズで進捗に依存した信頼しきい値が満たされるとデコーディングを停止する。
我々は、SchEDが堅牢であり、信頼に基づく早期退避法よりも明らかに優れていることを示す。
論文 参考訳（メタデータ） (2025-12-02T16:01:08Z) - PPMStereo: Pick-and-Play Memory Construction for Consistent Dynamic Stereo Matching [51.98089287914147]
textbfPick-and-textbflay textbfMemory (PM) construction module for dynamic bfStereo matching, called bftextPPMStereo。
bftextPPMStereo と呼ばれる動的 bfStereo マッチングのための textbfPick-and-textbflay textbfMemory (PM) 構築モジュールを提案する。
論文 参考訳（メタデータ） (2025-10-23T03:52:39Z) - SpecVLM: Fast Speculative Decoding in Vision-Language Models [14.243294546325714]
投機的復号化は自己回帰型大規模言語モデル(LLM)を高速化する強力な方法である
視覚言語モデル(VLM)の投機的復号化について検討する。
1.5--2.3xのエンドツーエンドの高速化を完全自己回帰推論で実現する実用システムであるSpecVLMを紹介する。
論文 参考訳（メタデータ） (2025-09-15T11:53:56Z) - LiftVSR: Lifting Image Diffusion to Video Super-Resolution via Hybrid Temporal Modeling with Only 4$\times$RTX 4090s [16.456543112614586]
拡散モデルは、知覚品質を向上させることによって高度なビデオ超解像(VSR)を持つ。
本稿では、PixArt-$alpha$に先立って画像の拡散を緩和し、最先端の結果を得るための効率的なVSRフレームワークLiftVSRを提案する。
いくつかの典型的なVSRベンチマークの実験では、LiftVSRは計算コストを大幅に削減して優れた性能を発揮することが示されている。
論文 参考訳（メタデータ） (2025-06-10T07:49:33Z) - Towards Scalable Modeling of Compressed Videos for Efficient Action Recognition [6.168286187549952]
提案するハイブリッドなエンドツーエンドフレームワークは,3つの重要な概念にまたがって学習を分解し,推論コストを先行技術に対して330倍に削減する。
実験により,本手法は最先端のビデオ認識性能を実現する軽量なアーキテクチャを実現することが示された。
論文 参考訳（メタデータ） (2025-03-17T21:13:48Z) - STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。
我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
論文 参考訳（メタデータ） (2025-03-06T06:17:38Z) - TFMQ-DM: Temporal Feature Maintenance Quantization for Diffusion Models [52.454274602380124]
拡散モデルは非常に時間ステップ$t$に大きく依存し、良好なマルチラウンドデノジングを実現している。
本稿では,時間情報ブロック上に構築した時間的特徴保守量子化(TFMQ)フレームワークを提案する。
先駆的なブロック設計により、時間情報認識再構成(TIAR)と有限集合キャリブレーション(FSC)を考案し、完全な時間的特徴を整列させる。
論文 参考訳（メタデータ） (2023-11-27T12:59:52Z) - Can SAM Boost Video Super-Resolution? [78.29033914169025]
単純な有効モジュールであるSAM-guidEd refinEment Module (SEEM)を提案する。
この軽量プラグインモジュールは、セマンティック・アウェア機能の生成にアテンションメカニズムを活用するように設計されている。
我々はSEEMをEDVRとBasicVSRの2つの代表的手法に適用し、最小限の実装労力で継続的に性能を向上する。
論文 参考訳（メタデータ） (2023-05-11T02:02:53Z) - Approximated Bilinear Modules for Temporal Modeling [116.6506871576514]
CNNの2層は補助ブランチサンプリングを追加することで、時間的双線形モジュールに変換できる。
我々のモデルは、事前トレーニングなしで、Something v1とv2データセットの最先端メソッドよりも優れている。
論文 参考訳（メタデータ） (2020-07-25T09:07:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。