論文の概要: Spectral Heat Flow for Conservative Token Condensation in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2607.10640v1
• Date: Sun, 12 Jul 2026 08:12:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.48967
• Title: Spectral Heat Flow for Conservative Token Condensation in Vision-Language Models
• Title（参考訳）: 視覚・言語モデルにおける保守的トークン凝縮のためのスペクトル熱流
• Abstract要約: VLM(Vision-Language Models)は、視覚トークンの長いシーケンスを処理しなければならないため、推論時にコストがかかる。 本稿では, 破壊的プルーニングから保守的凝縮へパラダイムをシフトさせる, トレーニングフリーなフレームワークSpecFlowを提案する。 SpecFlowはプラグイン・アンド・プレイで、微調整は不要で、FlashAttentionと互換性がある。
• 参考スコア（独自算出の注目度）: 33.036117157314145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) are costly at inference time because they must process long sequences of visual tokens. Existing token pruning methods often degrade under high compression by blindly discarding information, breaking spatial structure or collapsing diversity. We propose SpecFlow, a training-free framework that shifts the paradigm from destructive pruning to conservative condensation, strictly enforcing spatial coverage and statistical conservation to ensure stability. Treating visual tokens as nodes in a $k$NN graph, SpecFlow (i) computes a stable importance field via spectral heat flow to preserve structural coherence, (ii) allocates budgets via adaptive spatial partitioning to guarantee coverage, and (iii) aggregates discarded information into coreset sinks to maintain statistical conservation. The method is plug-and-play, requires no fine-tuning, and is compatible with FlashAttention. Experiments confirm that our SpecFlow outperforms SOTA methods across tasks, VLM architectures, and pruning ratios. Notably, LLaVA-1.5 with SpecFlow retains 95.6\% of original performance despite pruning 88.9\% of visual tokens, offering an exceptional efficiency-accuracy balance. Code is available at https://github.com/Lzy-dot/SpecFlow
• Abstract（参考訳）: VLM(Vision-Language Models)は、視覚トークンの長いシーケンスを処理しなければならないため、推論時にコストがかかる。 既存のトークンプルーニング法は、情報を捨てたり、空間構造を壊したり、多様性を損なったりすることで、高圧縮下で劣化することが多い。 本研究では,破壊的プルーニングから保守的凝縮へパラダイムをシフトさせる学習自由フレームワークSpecFlowを提案する。 ビジュアルトークンを$k$NNグラフのノードとして扱うSpecFlow i) 構造コヒーレンスを維持するため、スペクトル熱流を介して安定な重要度場を計算する。 二 適応的空間分割により予算を配分し、範囲を確保すること。 三 廃棄された情報をコアセットシンクに集約して統計的保存を維持すること。 このメソッドはプラグイン・アンド・プレイで、微調整は不要で、FlashAttentionと互換性がある。 実験により、我々のSpecFlowはタスク、VLMアーキテクチャ、プルーニング比でSOTAメソッドよりも優れていることが確認された。 特に、SpecFlowを搭載したLLaVA-1.5は、88.9\%の視覚トークンを打つにもかかわらず、95.6\%のオリジナルパフォーマンスを保持し、例外的な効率と精度のバランスを提供する。 コードはhttps://github.com/Lzy-dot/SpecFlowで入手できる。

関連論文リスト

• CoverPrune: Coverage-Driven Token Pruning for 3D VLMs via Optimal Transport [50.2610873651284]
  既存のトークンプルーニング法は、分散を最大化するために類似のトークンを捨て、多様性に基づいた選択に依存している。 3D環境では、この手法は典型的なプロトタイプトークンを落として、アウトリーチを優先することが多い。 本稿では,3次元VLMトークンプルーニングのパラダイムシフトを提案する。
  論文  参考訳（メタデータ） (2026-08-13T13:29:15Z)
• SUREFlow: State-space Uncertainty-aware REsidual Flow Matching for Robust Robot Manipulation [10.342753352696393]
  我々は,Mambaのバックボーン上に構築された状態空間不確実性を考慮した残留フローマッチングフレームワークSUREFlowを提案する。 LIBEROでは、SUREFlowは平均成功率92.5%を達成し、MaILを34.2%上回っている。 LIBERO-PROでは、わずか179Mのパラメータで約49%のSRを実現し、3.7Bのパラメータを持つ大きなVLAに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-07-11T23:25:42Z)
• DeCoFlow: Structural Decomposition of Normalizing Flows for Continual Anomaly Detection [3.7786934014542477]
  正規化フロー(NFs)は正確な密度推定を提供するが、パラメータ更新が密度多様体を歪ませると破滅的な忘れ込みに悩まされる。 更新を分離するために、フリーズされたユニバーサルベースとタスク固有の低ランクアダプタへの変換を分解するDeCoFlowを提案する。
  論文  参考訳（メタデータ） (2026-06-25T07:18:13Z)
• Spectral-Progressive Thought Flow for Lightweight Multimodal Reasoning [33.95923194828037]
  本稿では,新しいマルチモーダル空間推論フレームワークSpectral-Progressive Thought Flowを提案する。 強力なエネルギー圧縮を利用することで、SpecFlowはグローバルなレイアウトとリレーショナル構造を保存する。 SpecFlowは、計算とKVキャッシュコストを最大2.1倍に削減しながら、競争力や優れた推論性能を達成する。
  論文  参考訳（メタデータ） (2026-06-01T20:06:50Z)
• Preserving Foundational Capabilities in Flow-Matching VLAs through Conservative SFT [12.18095306054314]
  ConSFT(Reserve Supervised Fine-Tuning)は、壊滅的な忘れを軽減しつつ、ターゲット分布に適応する最適化目標である。 LIBERO と RoboTwin ベンチマークの ConSFT を最先端のフローマッチング VLA で評価した。
  論文  参考訳（メタデータ） (2026-05-09T10:59:03Z)
• Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
  トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。 我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。 標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
  論文  参考訳（メタデータ） (2026-04-19T08:18:29Z)
• Scaling Attention via Feature Sparsity [50.64995497733461]
  超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。 本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。 GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
  論文  参考訳（メタデータ） (2026-03-17T08:41:50Z)
• FASA: Frequency-aware Sparse Attention [56.26881872333624]
  本稿では,トークンの重要度を動的に予測することで,クエリ対応のトークン消去を実現する新しいフレームワークであるFASAを提案する。 我々の重要な発見は、小さな「支配的」FCの特定可能なサブセットが、常に注目の頭文字と高い文脈の一致を示すことである。 長いコンテキストのタスクのスペクトル全体にわたって、FASAは全てのトークン放出ベースラインを一貫して上回り、ニアオラクル精度を達成する。
  論文  参考訳（メタデータ） (2026-02-03T06:09:06Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• SparK: Query-Aware Unstructured Sparsity with Recoverable KV Cache Channel Pruning [33.149133156465474]
  大規模言語モデルにおける長文推論は、KVキャッシュのボトルネックによってますます制限される。 チャネルレベルでKVをプルーニングすることで、非構造化空間を適用できる訓練不要なプラグアンドプレイ手法であるSPARKを提案する。 SPARKはチャネルレベルの冗長性を低減し、同じメモリ予算内で長いシーケンスの処理を可能にする。
  論文  参考訳（メタデータ） (2025-08-21T03:48:28Z)
• On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
  大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。 まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。 本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
  論文  参考訳（メタデータ） (2025-06-11T01:25:06Z)
• Cross-Self KV Cache Pruning for Efficient Vision-Language Inference [19.062950348441426]
  KVキャッシュプルーニングは、長文自動回帰生成におけるメモリと計算コストを削減するための有望な手法として登場した。 我々は、注意スコアをモダリティ内注意(同じモダリティ)とモダリティ間注意(全体モダリティ)に分解することを提案する。 最終的なトレーニング不要手法である textbfCross-textbfSelf textbfPruning (CSP) は、完全なKVキャッシュを持つモデルと比較して、競争性能が向上する。
  論文  参考訳（メタデータ） (2024-12-05T22:47:17Z)
• MemFlow: Optical Flow Estimation and Prediction with Memory [54.22820729477756]
  本稿では,メモリを用いた光フロー推定と予測をリアルタイムに行うMemFlowを提案する。 本手法では,メモリの読み出しと更新を行うモジュールをリアルタイムに収集する。 われわれのアプローチは、過去の観測に基づいて、将来の光流の予測にシームレスに拡張する。
  論文  参考訳（メタデータ） (2024-04-07T04:56:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。