論文の概要: PACE: Pareto-Adaptive Compression for Efficient Native MLLMs

• arxiv url: http://arxiv.org/abs/2610.24005v1
• Date: Thu, 15 Oct 2026 17:58:25 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:54:16.085355
• Title: PACE: Pareto-Adaptive Compression for Efficient Native MLLMs
• Title（参考訳）: PACE: 効率的なネイティブMLLMのためのPareto-Adaptive Compression
• Abstract要約: ネイティブマルチモーダル大言語モデル(ネイティブMLLM)は、統合された自己回帰変換器内で視覚的および言語的シーケンスを符号化する。 マルチモーダルロPEを用いたネイティブMLLMに適した,最初のビジュアルトークン圧縮フレームワークである PACE を提案する。 実験によると、PACEは、わずか25%から50%のビジュアルトークン保持でほぼ損失のないパフォーマンスを維持し、いくつかのベンチマークも改善し、2倍のFLOP削減を実現している。
• 参考スコア（独自算出の注目度）: 12.790860706645423
• License:
• Abstract: Native multimodal large language models (native MLLMs) jointly encode visual and linguistic sequences within a unified autoregressive Transformer, emerging as a promising paradigm for multimodal understanding. Unlike conventional ViT-based MLLMs relying on external vision encoders, ViT-free native MLLMs tokenize pixel patches directly, potentially suffering severe visual token redundancy. A pilot study confirms this: unlike ViT-based models that degrade under compression, ViT-free MLLMs tolerate aggressive compression with near-lossless or even improved performance. Yet existing compression methods target ViT-based settings, leaving native MLLMs, which stand to gain the most, unexplored. To close this gap, we introduce an analysis pipeline centered on token discriminability and cross-dimensional heterogeneous redundancy, revealing that (i) redundancy is distributed independently and heterogeneously along height and width axes, and (ii) early-layer visual tokens are indiscriminable and uniformly redundant. Guided by these findings, we propose PACE (Pareto-Adaptive Compression for Efficient Native MLLMs), the first visual token compression framework tailored for native MLLMs with Multimodal-RoPE. Leveraging dimensional decoupling of positional encoding, PACE decomposes attention into two orthogonal spatial saliency estimates along height and width, gated by a positional attention signal, yielding direction-aware importance with negligible overhead. It further casts token budget allocation as Pareto optimization over performance preservation, inference efficiency, and spatial coverage, jointly identifying optimal compression depths and retention ratios. Experiments show PACE maintains near-lossless performance at only 25%-50% visual token retention, even improving several benchmarks, while delivering over 2x FLOPs reduction.
• Abstract（参考訳）: ネイティブマルチモーダル大言語モデル(ネイティブMLLM)は、統合された自己回帰変換器内で視覚的および言語的シーケンスを共同で符号化し、多モーダル理解のための有望なパラダイムとして出現する。 従来のViTベースのMLLMが外部視覚エンコーダに依存しているのとは異なり、ViTフリーのネイティブMLLMはピクセルパッチを直接トークン化し、深刻な視覚的トークンの冗長性を損なう可能性がある。 圧縮下で劣化するViTベースのモデルとは異なり、ViTフリーのMLLMは、ほぼロスレスまたは性能改善による攻撃的な圧縮を許容する。 しかし、既存の圧縮手法はViTベースの設定をターゲットとしており、最も探索されていないネイティブMLLMを残している。 このギャップを埋めるために,トークンの識別性と異種不均一性に着目した分析パイプラインを導入する。 (i)冗長性は高さと幅軸に沿って独立に均一に分布し、 (ii)初期層視覚トークンは識別不能で均一に冗長である。 そこで本研究では,PACE(Pareto-Adaptive Compression for Efficient Native MLLMs)を提案する。 PACEは位置符号化の次元的疎結合を利用して、高さと幅に沿って2つの直交空間塩分推定値に注意を分解する。 さらに、パフォーマンスの保存、推論効率、空間カバレッジに対するParetoの最適化としてトークン予算を割り当て、最適な圧縮深さと保持率を共同で識別する。 実験によると、PACEは、わずか25%から50%のビジュアルトークン保持でほぼ損失のないパフォーマンスを維持し、いくつかのベンチマークも改善し、2倍のFLOP削減を実現している。

関連論文リスト

• SPIDER: Multi-Layer Semantic Token Pruning and Adaptive Sub-Layer Skipping in Multimodal Large Language Models [108.54713532551811]
  マルチレイヤのアンダーラインtextbfSemanticビジュアルトークン underlinetextbfPrununderlinetextbfIng と aunderlinetextbfDaptive sub-layunderlinetextbfER スキップ機構を統合したトレーニングフリーフレームワーク textbfSPIDER を提案する。
  論文  参考訳（メタデータ） (2026-09-28T11:54:41Z)
• ERA: Entropy-Guided Visual Token Pruning with Rectified Attention for Efficient MLLMs [77.57757084153083]
  本稿では,効率的なMLLMを実現するために,Rectified Attention を用いたエントロピー誘導型ビジュアルトークン解析フレームワーク ERA を提案する。 ERAはDEP(Dual-view Entropy Pruning)、BTR(Bias-Aware Tokencycle)、LAR(Logit-Reserving Attention Rectification)の3つの重要な構成要素から構成される。
  論文  参考訳（メタデータ） (2026-06-30T17:20:29Z)
• SPAR: Semantic-Pixel Self-Alignment and Adaptive Routing for Unified Multimodal Models [31.77829987533264]
  我々はtextbfSemantic-textbfPixel の自己アライメントと textbfRouting (textbfSPAR) を備えた新しい統合マルチモーダルフレームワークを提案する。 画素レベルの再構成とセマンティック認識を一致させるため,非対称な二重ストリーム統一トークン化器を導入する。軽量なセマンティックストリームは識別的特徴をアンカーし,トランスフォーマー拡張されたピクセルストリームは細粒度の視覚的詳細をコンパクトな潜在空間に復元する。
  論文  参考訳（メタデータ） (2026-06-22T08:48:19Z)
• Rethinking MLLM Itself as a Segmenter with a Single Segmentation Token [75.67455028589505]
  本稿では,MLLM itSELFのセグメンテーションを1セグメンテーション・エンベディング(SELF1E)でアンロックする方法について検討する。 本手法は,MLLMからの画素シャッフル画像特徴の分解能の基本的な制限を目標とする。 総合的な実験により、SELF1Eは、スペシャリストマスクデコーダベースの手法と性能を競うことができる。
  論文  参考訳（メタデータ） (2026-03-19T15:25:36Z)
• Vision Token Reduction via Attention-Driven Self-Compression for Efficient Multimodal Large Language Models [34.12135666939555]
  MLLM(Multimodal Large Language Models)は、複数の視覚トークンを全てのレイヤで処理することで、計算コストを大幅に削減する。 LLMの注意機構のみを用いて、視覚トークンを段階的に削減する、シンプルで広く適用可能な方法である、注意駆動型自己圧縮(ADSC)を導入する。 ADSCはFLOPを53.7%、KVキャッシュメモリを56.7%削減し、オリジナルモデルの98.2%を保存した。
  論文  参考訳（メタデータ） (2026-02-13T04:49:27Z)
• Towards Lossless Ultimate Vision Token Compression for VLMs [11.485425012979052]
  Lossless Ultimate Vision tokens Compression (LUVC)フレームワークが提案されている。 LUVCは、言語モデルの最終層で完全に除去されるまで、ビジュアルトークンを圧縮する。 実験の結果,LUVCは言語モデルにおいて2つの高速化推定を達成し,精度の劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2025-12-09T15:40:13Z)
• LLaVA-UHD v3: Progressive Visual Compression for Efficient Native-Resolution Encoding in MLLMs [52.24096832965001]
  提案するプログレッシブ・ビジュアル・圧縮(PVC)法を中心としたMLLMであるLLaVA-UHD v3を提案する。 PVC法は、視覚変換器(ViT)にシームレスに統合して、効率的なネイティブ解像度符号化を可能にする。 ViT-UHDをベースとしたLLaVA-UHD v3はQwen2-VLとの競合性能も達成し、TTFTを1.9倍削減した。
  論文  参考訳（メタデータ） (2025-11-26T08:11:10Z)
• When MLLMs Meet Compression Distortion: A Coding Paradigm Tailored to MLLMs [38.29061845878822]
  マルチレベル特徴を適応的に保護し、下流タスクの異なる要求に適合するように設計されたMLLM(CoTAM)に適応した画像コーデックTAiloredを提案する。 MLLMタスクで同じ性能を維持しながら,最大35.99%の省力化を実現している。
  論文  参考訳（メタデータ） (2025-09-29T04:07:52Z)
• RedundancyLens: Revealing and Exploiting Visual Token Processing Redundancy for Efficient Decoder-Only MLLMs [38.34856927170692]
  MLLM(Multimodal Large Language Model)の学習用フレームワークを提案する。 Probe-Activated Dynamic FFNとHollow Attentionで構成されており、ビジュアルトークンの計算の調整可能な削減を可能にする。 実験では、デコーダのみのMLLMに特有の、実質的で、構造化され、クラスタ化された冗長性を示す。
  論文  参考訳（メタデータ） (2025-01-31T11:09:16Z)
• Efficient Multi-modal Large Language Models via Visual Token Grouping [55.482198808206284]
  高解像度の画像やビデオは、彼らの広く普及するための障壁となる。 MLLMにおける視覚トークンの圧縮は、推論コストを削減するための有望なアプローチとして現れている。 本稿では,事前学習した視覚エンコーダの能力を利用して類似画像セグメントをグループ化する,新たなグループ化機構であるVisToGを紹介する。
  論文  参考訳（メタデータ） (2024-11-26T09:36:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。