Fugu-MT 論文翻訳(概要): QCPruner: Query-Conditioned Population Coverage for Visual Token Pruning

論文の概要: QCPruner: Query-Conditioned Population Coverage for Visual Token Pruning

arxiv url: http://arxiv.org/abs/2609.19990v1
Date: Thu, 17 Sep 2026 09:58:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-20 08:55:54.212366
Title: QCPruner: Query-Conditioned Population Coverage for Visual Token Pruning
Title（参考訳）: QCPruner: ビジュアルトーケンプルーニングのためのクエリによる人口被覆
Abstract要約: QCPrunerを導入し、二元的ユーティリティ重み付けにより、視覚的ターゲットと候補代表の両方を問合せ条件にします。 QCPrunerは、報告されたトークン予算毎に評価された全システムプルーニング手法の中で、最も高い平均相対性能を達成する。
参考スコア（独自算出の注目度）: 3.9319330948961713
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The high visual-token load in multimodal large language models (MLLMs) motivates training-free pruning to reduce later-layer computation, but under a fixed budget, pruning must preserve query-relevant evidence while avoiding redundancy. Existing methods rank tokens, diversify selected subsets, or optimize coverage without using a shared per-visual query utility to weight both visual targets and candidate representatives. We introduce QCPruner, which makes both roles query-conditioned through bilateral utility weighting. Using keyword-matched query anchors, QCPruner fuses two cross-modal cues into utility and applies it to both visual targets and candidate representatives within visual-affinity-based coverage. The resulting nonnegative facility-location objective is monotone and submodular, retains the standard (1-1/e) greedy guarantee, and requires no model training or parameter updates. Across LLaVA-1.5, LLaVA-NeXT, LLaVA-Video, and Qwen2.5-VL, QCPruner achieves the highest average relative performance among evaluated complete-system pruning methods at every reported token budget. At 32 of 576 tokens on LLaVA-1.5-7B, it retains 96.1% of unpruned performance, versus 93.9% for the strongest evaluated baseline. At 256 of 1296 tokens on Qwen2.5-VL-7B, the corresponding values are 96.7% and 92.5%.
Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)における高い視覚的負荷は、後層計算を減らすためにトレーニング不要プルーニングを動機付けているが、固定予算では、プルーニングは冗長性を避けながらクエリ関連エビデンスを保持する必要がある。既存のメソッドでは、トークンのランク付け、選択されたサブセットの多様化、あるいは視覚的ターゲットと候補の両方を重み付けるために、共有された視覚的クエリユーティリティを使用することなくカバレッジを最適化する。 QCPrunerを導入し、二元的ユーティリティ重み付けによる問合せ条件を両立させる。キーワードマッチングクエリアンカーを使用して、QCPrunerは2つのクロスモーダルキューをユーティリティに融合し、視覚的親和性に基づくカバレッジ内の視覚的ターゲットと候補代表の両方に適用する。結果として生じる非負の施設配置目的は単調で部分モジュラーであり、標準(1-1/e)のグリーディ保証を保持し、モデルのトレーニングやパラメータ更新を必要としない。 QCPruner は LLaVA-1.5, LLaVA-NeXT, LLaVA-Video, Qwen2.5-VL にまたがって, 報告されたトークン予算毎に評価された全システムプルーニング手法の中で, 高い平均相対性能を達成している。 LLaVA-1.5-7B の 576 トークンのうち 32 個は96.1% であり、最も評価の高いベースラインでは 93.9% である。 Qwen2.5-VL-7Bの1296トークンのうち256で、対応する値は96.7%と92.5%である。

関連論文リスト

StackTok: Accelerating VLMs Inference with Budget-Adaptive Visual Token Selection [17.809800994999225]
StackTokはトレーニング不要のセレクタで、クエリ関連を客観的かつ視覚的なカバレッジとして扱い、予算の校正サポートとして扱う。試験されたすべてのモデルにおいて、トレーニング不要のセレクタの中では、第1位である。高解像度のLLaVA-NeXT-7Bでは、95.26%のフルトーケン性能を保ち、2,880 (5.6%) の視覚トークンしか持たない。
論文参考訳（メタデータ） (2026-09-15T08:35:57Z)
StepPrune: Adaptive Sequential Visual Token Selection across Multimodal Large Language Models [8.919775207256498]
視覚的な接頭辞は、大きな言語モデルにおける層ごとの計算の大部分を占める。本稿では,適応的な逐次的決定プロセスとして視覚的なプルーニングを定式化するStepPruneを提案する。 StepPruneは、プレフィルのレイテンシを59.95ミリ秒から40.05ミリ秒に短縮し、プレフィルのスピードアップを1.50倍にする。
論文参考訳（メタデータ） (2026-09-12T08:30:25Z)
AgentWeave: Routing Before Reasoning for Efficient Function Calling in Tool-Rich Language Models [0.0]
我々は,有界モデル可視アクション空間を構成する決定論的事前推論ルーティング層であるAgentWeaveを紹介する。オールツールの露出とは対照的に、AgentWeaveは70.18%のツールを減らし、61.70%の入力トークンを減らし、平均的なローカルモデルのレイテンシを50.95%低下させる。
論文参考訳（メタデータ） (2026-08-24T10:38:08Z)
RoRA: Role-Oriented Regional Allocation for Visual Token Pruning in MLLMs [50.93650157115467]
本稿では,ロール指向の地域的エビデンスアロケーションとして視覚トークンプルーニングをキャストする,トレーニングフリーのフレームワークであるRoRAを紹介する。整合した予算の下では、RoRAはLLaVAやQwen-VLファミリで、トレーニングなしの強力なベースラインを一貫して上回っている。 66.7%のプルーニング比で、RoRAはトークンの選択に0.7msしか必要とせず、エンドツーエンドの推論時間を24.6%削減する。
論文参考訳（メタデータ） (2026-08-07T10:39:47Z)
Models for minimalist RAG: B1ade 335M Embedding and 1B Parameter Small Language Models [2.1665689529884697]
本稿では,コンパクトな埋め込みモデルと汎用SLMの2つのコンポーネントからなる効率的なRAGアーキテクチャであるB1adeについて述べる。 5つの事前訓練エンコーダのパラメータフリー融合により構築された335Mパラメータ検索モデルであるB1ade-embedは、追加トレーニングをゼロとした500M未満モデルの上位MTEBスコアを達成する。 B1ade-1Bは42.4%の反応で回収された通路を引用し、トレーニング分布の寄与率を5.5ポイント上回っている。
論文参考訳（メタデータ） (2026-07-29T22:41:25Z)
SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models [22.517061458809057]
本稿では,視覚トークンの効率的なプラグアンドプレイプルーニング手法であるSepPruneを提案する。 SepPruneはLLMの組み込みプロジェクションパラメータを再利用し、アーキテクチャの変更を必要としない。 Qwen2.5-VL-7Bの実験では、SepPruneは最先端のパフォーマンスを達成し、元の精度の96.3%を維持し、80.2%の視覚トークンを除去した。
論文参考訳（メタデータ） (2026-07-28T15:01:02Z)
D2Pruner: Debiased Importance and Structural Diversity for MLLM Token Pruning [49.16227597771663]
D2Prunerは、デバイアスされた重要性と構造的なプルーニングメカニズムを組み合わせたフレームワークである。 FLOPを74.2%削減し、元の性能の99.2%を維持した。既存の手法に比べて63.53%も改善されている。
論文参考訳（メタデータ） (2025-12-22T14:42:31Z)
Learning Adaptive Parallel Reasoning with Language Models [70.1745752819628]
本稿では,適応並列推論(Adaptive Parallel Reasoning, APR)を提案する。 APRは、spawn()とjoin()操作を使用して適応的なマルチスレッド推論を可能にすることで、既存の推論メソッドを一般化する。鍵となる革新は、親と子の両方の推論スレッドを最適化して、事前に定義された推論構造を必要とせずにタスクの成功率を高める、エンドツーエンドの強化学習戦略である。
論文参考訳（メタデータ） (2025-04-21T22:29:02Z)
SoTA with Less: MCTS-Guided Sample Selection for Data-Efficient Visual Reasoning Self-Improvement [100.85923086072204]
我々はThinkLite-VLを紹介した。これは最先端(SoTA)パフォーマンスを実現する視覚推論モデルのファミリーで、トレーニングサンプルの桁数を桁違いに減らしている。我々はMonte Carlo Tree Search (MCTS) を用いて、各インスタンスの解決に必要な視覚言語モデル(VLM)の推論反復数を用いてサンプルの難易度を測定する。 ThinkLite-VL-7BとThinkLite-VL-72Bは、8つの視覚的推論ベンチマークにおいて、それぞれのベースモデルよりも大幅に優れていた。
論文参考訳（メタデータ） (2025-04-10T17:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。