論文の概要: An AI4AI Framework for Visual Token Pruning

• arxiv url: http://arxiv.org/abs/2608.07193v1
• Date: Fri, 07 Aug 2026 13:07:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.501273
• Title: An AI4AI Framework for Visual Token Pruning
• Title（参考訳）: ビジュアルトーケンプルーニングのためのAI4AIフレームワーク
• Abstract要約: 視覚障害者のためのAI4AIフレームワークを構築している。 AutoPruneは、ビジュアルトーケンプルーニングポリシー設計のためのトレーニング不要のフレームワークである。
• 参考スコア（独自算出の注目度）: 30.316781118289043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual-token pruning can substantially reduce the inference cost of multimodal large language models (MLLMs), yet existing methods largely rely on fixed, handcrafted heuristics and costly expert trial and error. As pruning objectives, budgets, and model architectures diversify, manually navigating the expanding design space becomes increasingly difficult. This paper aims to build an AI4AI framework for visual-token pruning by addressing a natural question: Can large language models automatically design effective visual-token reduction algorithms? Although LLMs possess broad algorithmic knowledge and strong reasoning capabilities, translating such general knowledge into effective solutions for a specialized task remains nontrivial. We argue that the key lies in designing an appropriate search-state representation that connects the internal knowledge of LLMs with the structural requirements and constraints of visual-token pruning. Based on this insight, we propose AutoPrune, a training-free framework for LLM-driven visual-token pruning policy design. At its core, AutoPrune introduces a Token Pruning Domain-Specific Language (TPDSL) comprising 131 reusable atoms for budget control, token scoring, selection constraints, and token reassembly. A key property of TPDSL is that it represents each search state as a residual modification of a strong base policy. This residual formulation narrows the search space and directs the LLM's attention toward the policy components that are most consequential for performance. Experiments on 14 multimodal benchmarks and three MLLM backbones demonstrate the effectiveness, efficiency, and transferability of AutoPrune. Even when removing 94.4% of visual tokens, AutoPrune preserves more than 99% of full-token performance while reducing FLOPs by 9.9x and prefill latency by 6.4x.
• Abstract（参考訳）: ビジュアルトーケンプルーニングは、マルチモーダルな大規模言語モデル(MLLM)の推論コストを大幅に削減するが、既存の手法は固定的で手作りのヒューリスティックと高価な専門家による試行錯誤に大きく依存している。 目的、予算、モデルアーキテクチャが多様化するにつれて、手動で設計空間をナビゲートすることはますます困難になる。 本稿では,AI4AIフレームワークの構築を目標とし,自然な疑問に対処する。 LLMには幅広いアルゴリズム知識と強力な推論能力があるが、そのような一般知識を専門的なタスクのための効果的な解に変換することは、依然として容易ではない。 我々は、LLMの内部知識と視覚的なプルーニングの構造的要件と制約を結びつける適切な検索状態表現を設計する上で鍵となると論じる。 この知見に基づいて,LLM駆動型ビジュアルトーケンプルーニングポリシー設計のためのトレーニングフリーフレームワークであるAutoPruneを提案する。 AutoPruneは、予算管理、トークンスコアリング、選択制約、トークン再組み立てのための131の再利用可能な原子からなる、Token Pruning Domain-Specific Language (TPDSL)を導入している。 TPDSLのキーとなる特徴は、各検索状態が強いベースポリシーの残留的な修正として表現されていることである。 この残余の定式化は、探索空間を狭め、LLMの注意を、最も性能の高いポリシーコンポーネントに向ける。 14のマルチモーダルベンチマークと3つのMLLMバックボーンの実験は、AutoPruneの有効性、効率、転送性を示している。 94.4%のビジュアルトークンを削除しても、AutoPruneはフルトーケン性能の99%以上を保ち、FLOPを9.9倍、プリフィル遅延を6.4倍に削減している。

関連論文リスト

• TOPS: First-Principles Visual Token Pruning via Constructing Token Optimal Preservation Sets for Efficient MLLM Inference [54.41143483594129]
  マルチモーダル大言語モデル(MLLM)は強力なマルチモーダル推論機能を実現しているが、その効率は多数の視覚トークンによって制限されている。 Visual token pruningは自然なソリューションを提供するが、既存のメソッドは不完全である。 各種MLLMに適用可能なトレーニングフリーでモデルに依存しないプルーニングモジュールTOPSを提案する。
  論文  参考訳（メタデータ） (2026-06-25T15:29:37Z)
• QAPruner: Quantization-Aware Vision Token Pruning for Multimodal Large Language Models [18.353831760548267]
  MLLM(Multimodal Large Language Models)は、強力な推論能力を示しているが、その高い計算とメモリコストは、リソース制約された設定でのデプロイメントを妨げる。 ポストトレーニング量子化(PTQ)とビジョントークンプルーニングは標準的な圧縮技術であるが、通常は独立した最適化として扱われる。 本稿では,これらの2つの手法が強く結合していることを示し,PTQ最適化MLLMに対して意味に基づくトークンプルーニングを適用することにより,数値安定性に重要なアクティベーションアウトレーヤを廃止し,低ビット状態における量子化誤差を悪化させることができることを示す。 量子化対応型視覚トークンプルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-03T07:32:07Z)
• ResPrune: Text-Conditioned Subspace Reconstruction for Visual Token Pruning in Large Vision-Language Models [59.94664910790462]
  ResPruneは、大規模な視覚言語モデルのためのトレーニング不要のビジュアルトークンプルーニングフレームワークである。 視覚トークンのコンパクトだが情報に富むサブセットを選択する。 これは、計算、メモリ消費、推論遅延を効果的に削減する。
  論文  参考訳（メタデータ） (2026-03-22T07:44:45Z)
• Language-Guided Token Compression with Reinforcement Learning in Large Vision-Language Models [19.87835200940665]
  TPRLは、言語誘導シーケンシャル最適化を通じて適応的なプルーニング軌跡を学習し、エンドタスク性能に直結する。 我々は、明示的な状態遷移を伴う逐次決定プロセスとして視覚トークンプルーニングを定式化する。 我々は、自己教師付きオートエンコーダを用いて、視覚トークンを効率的なポリシー学習のためのコンパクトな状態表現に圧縮する。
  論文  参考訳（メタデータ） (2026-03-11T09:52:44Z)
• Informed Routing in LLMs: Smarter Token-Level Computation for Faster Inference [7.690958366125321]
  本稿では,これらの問題に積極的に対処する新しいパラダイムであるインフォメーションルーティングを紹介する。 我々は、ルーティング決定を行う前に、ユニットの出力を推定する小さな予測モジュールである軽量特徴予測器(LFF)を提案する。 言語モデリングと推論タスクの両方の実験は、情報ルーティングが最先端の効率と性能のトレードオフを達成することを示す。
  論文  参考訳（メタデータ） (2025-10-10T09:59:36Z)
• AutoPrune: Each Complexity Deserves a Pruning Policy [58.448785378705566]
  Complexity Pruning(AutoPrune)は、プルングポリシーをさまざまなサンプルやタスクの複雑さに合わせて調整する、トレーニングフリーのプラグイン・アンド・プレイフレームワークである。 我々はAutoPruneを、標準的な視覚適応タスクと、自律運転のためのビジョン・ランゲージ・アクションモデルで評価する。
  論文  参考訳（メタデータ） (2025-09-28T15:09:00Z)
• VFlowOpt: A Token Pruning Framework for LMMs with Visual Information Flow-Guided Optimization [70.98122339799218]
  LMM(Large Multimodal Models)は、多数の視覚トークンを微粒な視覚情報に活用することにより、視覚言語タスクに優れる。 推論中の視覚トークンを減らすことを目的とした以前の研究は、一般的に、視覚のみのトークンや視覚言語トークンの注意スコアから得られた重要マップを利用して、1つまたは複数のプルーニング段階にわたってトークンをプルーンする。 重要地図導出プロセスとリサイクル機構を備えたプログレッシブプルーニングモジュールを導入したトークンプルーニングフレームワークであるVFlowOptを提案する。 実験により、VFlowOptは、同等のパフォーマンスを維持しながら、90%のビジュアルトークンをプルークでき、KVキャッシュメモリが89%削減され、3.8になった。
  論文  参考訳（メタデータ） (2025-08-07T09:47:21Z)
• A Glimpse to Compress: Dynamic Visual Token Pruning for Large Vision-Language Models [94.49953824684853]
  人間の認知に触発された動的刈り取りフレームワークGlimpsePruneを導入する。 データ駆動の 'glimpse' を受け取り、応答生成の前に単一のフォワードパスで無関係な視覚トークンをプルーンする。 強化されたGlimpsePrune+は、同様に高いプルーニング率を維持しながら、ベースライン性能の110%を達成する。
  論文  参考訳（メタデータ） (2025-08-03T02:15:43Z)
• Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters [54.01228554126122]
  視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。 推論コストを削減するために、LLM(Large Language Models)を縮小するか、イメージを表すのに必要な入力トークンの数を削減できる。 高速圧縮に適したトークン圧縮アルゴリズムを設計する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2024-11-05T18:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。