論文の概要: SheafPrune: Sheaf-Guided Graph Propagation for Visual Token Pruning
- arxiv url: http://arxiv.org/abs/2610.13263v1
- Date: Fri, 09 Oct 2026 09:15:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.502785
- Title: SheafPrune: Sheaf-Guided Graph Propagation for Visual Token Pruning
- Title（参考訳）: SheafPrune: Visual Token PruningのためのSheaf-Guided Graph Propagation
- Abstract要約: SheafPruneは、モダリティ固有のマップと、スパースなテキスト-ビジュアルグラフを使用して、関連を転送する。
SheafPruneは、せん断幾何学にインスパイアされたもので、モダリティ固有のマップと粗いテキスト-視覚グラフを使って関連性を伝達する。
- 参考スコア（独自算出の注目度）: 15.166021307439081
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models process the complete visual token sequence, increasing prefill cost even when many tokens are irrelevant to the instruction. Token-wise saliency captures limited inter-token dependence; graph-based selection instead depends on how relations govern importance propagation and ranking. We study support-constrained propagation with node-degree correction. Inspired by sheaf geometry, SheafPrune uses modality-specific maps and a sparse text--visual graph to transfer relevance, then propagates scores on a separate visual graph and corrects them for degree. It retains a hard top-$k$ subset once before the frozen language model. The selector has about $4.5$M parameters and is trained end-to-end through the frozen LLaVA-NeXT-8B backbone using only the language-modeling objective. Explicit retention-ratio conditioning lets one checkpoint serve every budget. Across four backbones, ten benchmarks and seven pruning ratios, with all baselines re-implemented under one protocol, SheafPrune achieves the best retention at $22$ of $28$ backbone--budget settings, with monotonically growing margins in the moderate-to-aggressive regime. On LLaVA-NeXT, retaining $10\%$ of visual tokens yields a $5.15\times$ net prefill speedup and an $84.0\%$ end-to-end FLOPs reduction. Together with component ablations, these results support graph-constrained importance propagation and degree correction as a design for visual token selection across the evaluated backbones and tokenization schemes, improving the trade-off between accuracy retention and inference cost. code:https://github.com/Bob0817912/SheafPrune_ICLR_2027
- Abstract（参考訳）: マルチモーダルな大言語モデルは、完全なビジュアルトークンシーケンスを処理し、多くのトークンが命令に無関係である場合でも、プリフィルコストを増大させる。
グラフベースの選択は、どのように関係が重要性の伝播とランキングを支配するかに依存する。
ノード次補正によるサポート制約付き伝搬について検討する。
SheafPruneは、せん断幾何学にインスパイアされ、モダリティ固有の地図と粗いテキスト-視覚グラフを使って関連性を伝達し、別のビジュアルグラフ上でスコアを伝播し、それらをある程度修正する。
フリーズされた言語モデルの前には、ハードトップの$$サブセットを保持しています。
セレクタは約4.5$Mのパラメータを持ち、LLaVA-NeXT-8Bバックボーンを通じて言語モデリングの目的のみを使用してエンドツーエンドでトレーニングされる。
明示的な保持率の条件付けにより、1つのチェックポイントがすべての予算に役立ちます。
4つのバックボーン、10つのベンチマーク、7つのプルーニング比率で、すべてのベースラインが1つのプロトコルの下で再実装され、SheafPruneは22ドルのバックボーン予算設定で最高のリテンションを達成する。
LLaVA-NeXTでは、視覚トークンの10\%が5.15\times$ネットプリフィルのスピードアップと8.4.0\%$エンドツーエンドのFLOPの削減をもたらす。
これらの結果は,評価されたバックボーンとトークン化スキーム間の視覚的トークン選択のための設計として,グラフ制約による重要度伝搬と次数補正をサポートし,精度保持と推論コストのトレードオフを改善した。
code:https://github.com/Bob0817912/SheafPrune_ICLR_2027
関連論文リスト
- Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning [67.2146856614177]
ViMoDは、推論が進化するにつれて、元のきめ細かい証拠へのアクセスを保ちながら、コンパクトな視覚コンテキストを維持する軽量フレームワークである。
Qwen3-VL-4Bでは、ViMoDは8つの推論ベンチマークのベースラインを20%の視覚トークン予算で上回っている。
論文 参考訳（メタデータ） (2026-10-08T14:42:57Z) - Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。
既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。
Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
論文 参考訳（メタデータ） (2026-09-28T14:10:01Z) - TRACE: Trajectory-robust Admission with Evidence Ordering for Efficient GUI Agents [54.88208747581851]
トレーニング不要のビジュアルトークンプルーニングは、このコストを削減することができるが、キャッシュ再利用には基本的な制約が伴う。
我々は,emphtextbfTrajectory-textbfrobust textbfAdmission と textbfCoverage-aware textbfEvidence ordering のためのトレーニング不要フレームワーク textbfmethod を提案する。
論文 参考訳（メタデータ） (2026-09-09T15:12:48Z) - STAR-Pro: Stage-Wise Token Adaptive Reduction with Progressive Refinement for Efficient Large Vision-Language Models [54.273344678561024]
大規模視覚言語モデル(LVLM)は強力なマルチモーダル理解を実現するが、処理する数百から数千の視覚トークンは計算オーバーヘッドを課す。
視覚的トークンプルーニングの2つの相補的解析を行う。
視覚的トークンプルーニングのためのトレーニング不要な2段階フレームワークSTAR-Proを提案する。
論文 参考訳（メタデータ） (2026-09-05T06:18:28Z) - RUTA: Principled Visual Token Allocation via Rate-Utility Optimization [39.416519746709305]
高解像度の画像と長いビデオは、マルチモーダル推論ときめ細かい知覚のためのリッチコンテキストの視覚言語モデルを提供する。
本稿では,トークンが保持するトークンを共同学習することでLLM前還元を行う,原則化された利率-実用トークン割当手法であるRUTAを紹介する。
RUTAは、ダウンストリームタスク損失と期待されるトークン使用量のバランスをとる、ペナルティ化されたレートユーティリティーの目標で最適化されている。
論文 参考訳（メタデータ） (2026-08-04T18:37:26Z) - GOTS: Greedy Orthogonal Token Selection for High-Resolution Vision-Language Models [9.490341327220987]
Greedy Orthogonal Token Selection (GOTS)は、視覚的トークン削減のためのトレーニング不要でクエリに依存しない方法である。
GOTSは最強評価ベースラインよりも高い平均性能保持を実現する。
OCR選択のオーバーヘッドを考慮した後、モデル側のタイム・ツー・ファースト・トークンを削減する。
論文 参考訳（メタデータ） (2026-07-27T01:06:20Z) - ReDiPrune: Relevance-Diversity Pre-Projection Token Pruning for Efficient Multimodal LLMs [16.523460406504604]
ReDiPrune(ReDiPrune)は、視覚条件のプロジェクタに適用される、トレーニング不要のトークンプルーニング手法である。
視覚エンコーダ出力から直接情報トークンを選択し、きめ細かい空間的および意味的な手がかりを保存する。
4つのビデオと5つの画像ベンチマークの精度と効率のトレードオフを一貫して改善する。
論文 参考訳（メタデータ） (2026-03-25T18:01:19Z) - SCOPE: Saliency-Coverage Oriented Token Pruning for Efficient Multimodel LLMs [59.415473779171315]
textbfSaliency-textbfCoverage textbfOriented token textbfPruning for textbfEfficient MLLMs。
論文 参考訳（メタデータ） (2025-10-28T09:29:37Z) - TrimTokenator: Towards Adaptive Visual Token Pruning for Large Multimodal Models [4.779482139419908]
テキストトークンと意味的に視覚トークンを除去する相互情報に基づくトークンプルーニング戦略を導入する。
LLaVA-15-7BやLLaVA-7Bといったモデルでは,テキストトークンを88.9%削減しながら高い性能を維持している。
論文 参考訳（メタデータ） (2025-08-30T02:43:50Z) - AdaTP: Attention-Debiased Token Pruning for Video Large Language Models [73.70241811066907]
ビデオ大言語モデル (Video Large Language Models, ビデオLLM) は, 映像理解タスクにおいて顕著な成果を上げている。
それらは、複数のビデオフレームから生成される大量の視覚トークンのために、計算上のオーバーヘッドに悩まされることが多い。
AdaTPは2つの専用デバイアスモジュールをパイプラインに統合し、グローバルなアテンションバイアスとローカルなアテンションバイアスをターゲットとする。
論文 参考訳（メタデータ） (2025-05-26T15:08:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。