論文の概要: Combating Textual Noise and Redundancy: Entropy-Aware Dense Visual Token Pruning

• arxiv url: http://arxiv.org/abs/2607.02484v1
• Date: Thu, 02 Jul 2026 17:50:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.958461
• Title: Combating Textual Noise and Redundancy: Entropy-Aware Dense Visual Token Pruning
• Title（参考訳）: テキストノイズと冗長性:エントロピーを意識した視覚的トーケンプルーニング
• Abstract要約: 本研究では,構造化圧縮問題としてプルーニングを再構成するフレームワークであるEntropy-Aware Dense Pruning (EADP)を提案する。 EADPはまず統計エントロピーを利用してテキストノイズの定量化とフィルタリングを行う。
• 参考スコア（独自算出の注目度）: 16.79729969987944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual token pruning is a crucial strategy for accelerating VLMs by compressing redundant image patches, yet existing methods often fail to preserve critical cues under dense instructions and fine-grained queries. In this paper, we investigate this failure and identify two underlying bottlenecks: the widespread dispersion of textual noise that corrupts dense cross-modal scoring, and the feature fragmentation inherent to standard token selection. To address these issues, we propose Entropy-Aware Dense Pruning (EADP), a framework that reformulates pruning as a structured compression problem. EADP first leverages statistical entropy to quantify and filter out textual noise, yielding a robust, fine-grained instruction relevance score. Subsequently, instead of naive Top-K selection, EADP casts token selection as a submodular maximization problem with a spatial prior, explicitly ensuring a holistic and non-redundant visual representation. Extensive experiments demonstrate that EADP improves the accuracy-efficiency trade-off of VLMs, robustly preserving fine-grained visual cues under strict token budgets while achieving SoTA performance on challenging multimodal benchmarks.
• Abstract（参考訳）: 視覚トークンのプルーニングは、冗長なイメージパッチを圧縮することでVLMを加速させる重要な戦略であるが、既存の手法では、複雑な命令やきめ細かいクエリの下で重要なキューを保存できないことが多い。 本稿では,この故障を調査し,高密度なクロスモーダルスコアリングを損なうテキストノイズの拡散と,標準トークン選択に固有の特徴の断片化という,2つの基盤的ボトルネックを同定する。 これらの問題に対処するために,構造化圧縮問題としてプルーニングを再構成するフレームワークであるEntropy-Aware Dense Pruning (EADP)を提案する。 EADPはまず統計エントロピーを利用してテキストノイズの定量化とフィルタリングを行う。 その後、EADP は、Top-K 選択に代えて、トークン選択を空間的に先行した部分モジュラー最大化問題とし、全体的かつ非冗長な視覚表現を明確に保証する。 大規模な実験により、EADPはVLMの精度と効率のトレードオフを改善し、厳密なトークン予算の下できめ細かな視覚的手がかりを安定に保ちつつ、挑戦的なマルチモーダルベンチマークでSoTAのパフォーマンスを達成できることを示した。

関連論文リスト

• Anchoring and Steering Diffusion: Enhancing the Faithfulness of Text-to-Image Generation at Inference Time [16.04233421396159]
  AnchorSteerは、きめ細かい制御を行う、トレーニング不要のフレームワークである。 textbfAnchorSteerとそのコンポーネント。 GenEvalとT2I-CompBench++の実験は、AnchorSteerがテキストのアライメントにおいて既存のベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-07-29T09:08:57Z)
• ERA: Entropy-Guided Visual Token Pruning with Rectified Attention for Efficient MLLMs [77.57757084153083]
  本稿では,効率的なMLLMを実現するために,Rectified Attention を用いたエントロピー誘導型ビジュアルトークン解析フレームワーク ERA を提案する。 ERAはDEP(Dual-view Entropy Pruning)、BTR(Bias-Aware Tokencycle)、LAR(Logit-Reserving Attention Rectification)の3つの重要な構成要素から構成される。
  論文  参考訳（メタデータ） (2026-06-30T17:20:29Z)
• Latent Visual States for Efficient Multimodal Reasoning [58.350643620457]
  EVA(LatEnt Visual StAtes)は、連続的な潜伏した視覚表現を生成する新しいフレームワークである。 これらの内部表現は、Latnt_slotトークンの適応シーケンスとして表される。 EVAは推論効率を高めつつ、大幅な性能向上を達成する。
  論文  参考訳（メタデータ） (2026-06-23T07:22:22Z)
• Accelerating Multimodal Large Language Models with Prior-Corrected Token Reduction [42.23525789989544]
  MLLM(Multimodal Large Language Models)において、しばしば注意がモデルによって引き起こされる。 我々は,タスク条件付き注意をモデル誘発前と区別するために,事前補正トークン削減(PriorTR)を提案する。 PriorTRは、強いトレーニングのないベースラインよりも精度と効率のトレードオフを一貫して改善する。
  論文  参考訳（メタデータ） (2026-06-23T05:24:50Z)
• Moving Beyond Diversity: Visual Token Pruning as Subspace Reconstruction for Efficient VLMs [7.371189496638082]
  本稿では,カラムサブセット選択問題としてトークンプルーニングを再構成する部分空間再構成手法であるSPAREを紹介する。 SPAREはタスクに強い利得を伴い、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2026-06-17T04:45:10Z)
• Semantic Trimming and Auxiliary Multi-step Prediction for Generative Recommendation [22.025559532445012]
  両端最適化戦略を利用したSTAMP(Semantic Trimming and Auxiliary Multi-step Prediction)を提案する。 パブリックなAmazonおよび大規模産業データセットの実験では、STAMPは1.23--1.38$times$ speedupと17.2%--54.7%のVRAM削減を達成した。
  論文  参考訳（メタデータ） (2026-04-07T02:00:23Z)
• Not All Tokens See Equally: Perception-Grounded Policy Optimization for Large Vision-Language Models [38.47027398567909]
  Perception-Grounded Policy Optimization (PGPO)は、トークンレベルでのメリットを動的に再評価する、新しいきめ細かなクレジット割り当てフレームワークである。 PGPOは,言語的先行音からの勾配雑音を抑えつつ,視覚的に依存するトークンの学習信号を積極的に増幅することを示す。 理論的および実証的な分析は、PGPOが勾配の分散を効果的に減少させ、訓練の崩壊を防ぎ、頑健で知覚的なマルチモーダル推論のための強力な正則化剤として機能することを確認する。
  論文  参考訳（メタデータ） (2026-04-02T09:53:20Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Pyramid Token Pruning for High-Resolution Large Vision-Language Models via Region, Token, and Instruction-Guided Importance [60.028070589466445]
  Pyramid Token Pruning (PTP) は、階層的にボトムアップの視覚的サリエンスとトークンレベルをトップダウンの指導誘導の関連性と統合する、トレーニング不要の戦略である。 PTPは計算コスト、メモリ使用量、推論遅延を大幅に削減し、性能劣化を無視できることを示した。
  論文  参考訳（メタデータ） (2025-09-19T07:28:17Z)
• Path-Consistency with Prefix Enhancement for Efficient Inference in LLMs [3.6696973040141034]
  path-consistencyは推論遅延を最大40.5%改善し、タスク間のタスク精度を維持している。 実験の結果,経路整合性は,タスク間のタスク精度を維持しつつ,最大40.5%の推論遅延を改善することが示された。
  論文  参考訳（メタデータ） (2024-08-25T01:45:53Z)
• STBA: Towards Evaluating the Robustness of DNNs for Query-Limited Black-box Scenario [50.37501379058119]
  本研究では,クエリ制限シナリオにおいて,悪意のある逆の例を作成するために,空間変換ブラックボックス攻撃(STBA)を提案する。 そこで本研究では,STBAが対向例の認識不能性を効果的に改善し,クエリ制限条件下での攻撃成功率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2024-03-30T13:28:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。