論文の概要: Beyond One-Size-Fits-All: Sample-Adaptive Strategy Routing for Vision Token Pruning in MLLMs

• arxiv url: http://arxiv.org/abs/2609.10346v1
• Date: Wed, 09 Sep 2026 15:44:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.08588
• Title: Beyond One-Size-Fits-All: Sample-Adaptive Strategy Routing for Vision Token Pruning in MLLMs
• Title（参考訳）: 1サイズ以上:MLLMにおけるビジョン・トーケン・プルーニングのためのサンプル適応型戦略ルーティング
• Abstract要約: 軽量なVIPプルータであるVIP-theを提案する。 それは、各入力に最も適していると予測されるプルーニング戦略を適応的に選択する。 それは、全ての還元比で最高の固定戦略ベースラインを一貫して上回る。
• 参考スコア（独自算出の注目度）: 21.747765058148442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) process hundreds or thousands of visual tokens per image, incurring prohibitive inference costs. While existing vision token pruning methods mitigate this overhead, they implicitly assume that a single fixed pruning strategy can be applied uniformly across all inputs. Our analysis further reveals that ranking pruning methods by average benchmark accuracy conceals substantial sample-wise complementarity: although the average-best strategy excels overall, alternative strategies prove superior on a significant fraction of individual samples. To harness this diversity, we propose VIP-Router, a lightweight VIsion Pruning Router that adaptively selects the pruning strategy predicted to be best suited to each input at a specified pruning level. Conditioned on low-cost visual and textual features, VIP-Router identifies the most suitable candidate strategy while retaining full-token inference as an option when pruning is predicted to be unfavorable. Evaluated on a curated suite of pruning-sensitive visual perception benchmarks, VTC-Bench Group A, VIP-Router consistently outperforms the best fixed strategy baseline across all reduction ratios, achieving a 26.9% relative improvement in average accuracy, and a 22.0% relative increase in average utility after accounting for realized token cost. Crucially, VIP-Router operates in a plug-and-play manner without modifying underlying pruning algorithms or model weights, introducing trainable parameters equivalent to merely 0.017\% of the backbone. Furthermore, VIP-Router proves effective across various MLLM backbones and yields consistent gains on unseen benchmarks, highlighting the potential of sample adaptive routing for visual token pruning.
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)は、画像ごとに数百から数千の視覚トークンを処理し、違法な推論コストを発生させる。 既存の視覚トークンプルーニング法はこのオーバーヘッドを軽減するが、彼らは暗黙的に、すべての入力に対して単一の固定プルーニング戦略を均一に適用できると仮定する。 さらに, 平均ベンチマーク精度による順位決定手法は, 標本の相補性を著しく隠蔽していることが明らかとなった。 この多様性を活用するために,特定プルーニングレベルでの各入力に最適なプルーニング戦略を適応的に選択する軽量なVision Pruning RouterであるVIP-Routerを提案する。 VIP-Routerは、低コストの視覚的特徴とテキスト的特徴に基づいて、プルーニングが好ましくないと予測された場合、フルトーケン推論をオプションとして保持しながら、最も適した候補戦略を特定する。 VTC-Bench Group A、VIP-Routerは、プルーニングに敏感な視覚知覚ベンチマークで評価され、全ての還元率で最高の固定戦略ベースラインを一貫して上回り、平均精度が26.9%向上し、トークンコストが実現した後に平均ユーティリティが22.0%上昇した。 重要なのは、VIP-Routerはプルーニングアルゴリズムやモデルウェイトを変更することなくプラグアンドプレイで動作し、バックボーンの0.017\%に相当するトレーニング可能なパラメータを導入している。 さらに、VIP-Routerは様々なMLLMバックボーンで有効であることが証明され、見つからないベンチマークで一貫した利得が得られ、視覚トークンプルーニングのためのサンプル適応ルーティングの可能性を強調している。

関連論文リスト

• Collaborative Multi-Mode Pruning for Vision-Language Models [31.988586741092927]
  VLM(Vision-Language Models)は、統合トランスフォーマーアーキテクチャの中で急速に進歩しているが、リソース制約のあるデバイスへの展開は依然として困難である。 共同パラメータとトークンプルーニングによってVLMに適した新しいフレームワークであるCollaborative Multi-Mode Pruning (CoMP)を提案する。 提案手法は,最先端手法との比較により,高いプルーニング率下での性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2026-04-03T10:44:23Z)
• One-shot Optimized Steering Vector for Hallucination Mitigation for VLMs [8.089908150148554]
  視覚言語モデル(VLM)は、マルチモーダルタスクにおいて高いパフォーマンスを達成するが、まだ幻覚や安全関連の障害に悩まされている。 textbf1-shot textbfSteering with textbfGenerative textbfAnchorは、単一の最適化インスタンスでモデル性能を改善するための、入力に依存しないフレームワークである。
  論文  参考訳（メタデータ） (2026-01-30T14:47:59Z)
• Enhancing Agentic RL with Progressive Reward Shaping and Value-based Sampling Policy Optimization [13.475938754147625]
  Tool-Integrated Reasoning (TIR)で強化されたLarge Language Models (LLM)は、反復的に計画し、外部ツールを呼び、返却された情報を統合して、複雑な長期的推論タスクを解決する。 エージェント強化学習(Agentic RL)は、ツール・インタラクションの完全な軌跡よりも、そのようなモデルを最適化する。 1)バイナリ0-1検証信号のようなスパースで非インストラクティブな報酬は、中間ステップの限られたガイダンスと緩やかな収束を与える。 本稿では,PRS(Progressive Reward Shaping)とVSPO(Value-based Sampling Policy Optimization)の2つの補完手法を提案する。
  論文  参考訳（メタデータ） (2025-12-08T11:59:25Z)
• STT-GS: Sample-Then-Transmit Edge Gaussian Splatting with Joint Client Selection and Power Control [77.56170394100022]
  Edge Gaussian splatting (EGS)は、分散クライアントからデータを集約し、エッジサーバでグローバルGSモデルをトレーニングする。 本稿では、異なるクライアントのビューコントリビューションを識別する新しいGS指向の目的関数を定式化する。 その結果,低サンプリング比でGS指向の目的を正確に予測できることが判明した。
  論文  参考訳（メタデータ） (2025-10-15T06:20:47Z)
• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• VAGPO: Vision-augmented Asymmetric Group Preference Optimization for Graph Routing Problems [27.70647397895125]
  グラフルーティング問題は、グラフ間の最適な経路を見つけることが不可欠であるWeb関連ネットワークにおいて重要な役割を果たす。 最近のデータ駆動最適化手法は大きな進歩を遂げているが、訓練効率と大規模インスタンスへの一般化の限界に直面していることが多い。 本稿では,空間構造と時間的依存関係の両方をキャプチャする,視覚拡張型非対称グループ優先最適化(VAGPO)手法を提案する。
  論文  参考訳（メタデータ） (2025-08-03T14:19:12Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Pruning All-Rounder: Rethinking and Improving Inference Efficiency for Large Vision Language Models [42.124670377223175]
  我々は Pruning All-Rounder (PAR) と呼ばれる推論加速のための新しいフレームワークを提案する。 PARは自己教師付き学習方式により、パフォーマンスと効率のバランスが優れている。特に、PARは高い柔軟性を持ち、様々なアクセラレーションシナリオに対処する複数のプルーニングバージョンを提供する。
  論文  参考訳（メタデータ） (2024-12-09T13:02:35Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully Exploiting Self-Attention [36.90363317158731]
  最小限のコストで適応的なスパーストークンプルーニングフレームワークを提案する。 提案手法では,DeiT-Sのスループットを50%向上し,トップ1の精度は0.2%低下した。
  論文  参考訳（メタデータ） (2022-09-28T03:07:32Z)
• Pruning Self-attentions into Convolutional Layers in Single Path [89.55361659622305]
  ビジョントランスフォーマー(ViT)は、様々なコンピュータビジョンタスクに対して印象的なパフォーマンスを実現している。 トレーニング済みのViTを効率よく自動圧縮するSPViT(Single-Path Vision Transformer pruning)を提案する。 われわれのSPViTはDeiT-Bで52.0%のFLOPをトリミングできる。
  論文  参考訳（メタデータ） (2021-11-23T11:35:54Z)
• ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
  本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
  論文  参考訳（メタデータ） (2020-06-01T05:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。