論文の概要: Ablate-to-Validate: Are Vision-Language Models Really Using Continuous Thought Tokens?

• arxiv url: http://arxiv.org/abs/2605.21642v1
• Date: Wed, 20 May 2026 18:55:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:41.962337
• Title: Ablate-to-Validate: Are Vision-Language Models Really Using Continuous Thought Tokens?
• Title（参考訳）: Ablate-to-Validate: ビジョンランゲージモデルは、継続的思考トークンを実際に使っているか?
• Authors: Tianyi Zhang, Mahtab Bigverdi, Ranjay Krishna,
• Abstract要約: 視覚言語モデル(VLM)は、"視覚的思考"をサポートするために、連続的または潜時的な非テクスチャトークンでますます拡張されている。 タスク精度が向上したにもかかわらず、これはモデルが実際にこれらのトークンを推論に使用していることを示すものではない。 我々は,潜入型コンテンツが真に活用されているかどうかを調べるための診断原則であるAblate Ablate-to-Shelfを定式化する。
• 参考スコア（独自算出の注目度）: 36.160974399366225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) are increasingly augmented with continuous or latent non-textual tokens intended to support "visual thinking." Despite improved task accuracy, this alone does not show that models actually use these tokens for reasoning -- gains may arise from confounds such as added context length, special-token anchoring, or training-time regularization. We formalize a diagnostic principle, Ablate-to-Validate, for testing whether latent-token content is genuinely utilized, and instantiate it as the Token Replacement Test (TRT), a standardized suite of content-replacement ablations. TRT holds the prompt, image, token budget, and decoding fixed while replacing intermediate tokens with zero, random, first-repeat, or oracle alternatives, isolating whether performance depends on token content or merely on token presence. As a controlled testbed, we study relative depth reasoning with LLaVA-13B and Qwen2.5-VL-3B, training models to predict and consume continuous or discrete depth spans across multiple frozen encoders (SigLIP2, CLIP, DINOv2) and token budgets. We additionally apply TRT to three off-the-shelf visual-thinking systems (Mirage, Mull-Tokens, CoVT) on BLINK, VSP, and CV-Bench. Across all settings, accuracy gains are a misleading proxy for latent-token reasoning: VLMs retain most improvement even when token content is corrupted or replaced, revealing a persistent gap between having a latent channel and using it as an information bottleneck. We recommend TRT as a standard diagnostic alongside accuracy for any method introducing continuous thought tokens.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、"視覚的思考"をサポートすることを目的として、連続的または潜在的な非テクスチャトークンで拡張されつつある。 タスクの精度が向上したにもかかわらず、これはモデルが実際にこれらのトークンを推論に使っていることを示さない。 本稿では,潜伏コンテンツが真に活用されているかどうかを判定するための診断原理であるAblate-to-Validateを定式化し,コンテンツ置換の標準スイートであるToken Replacement Test (TRT) としてインスタンス化する。 TRTは、中間トークンをゼロ、ランダム、ファーストリピート、またはオラクルの代替品に置き換えながら、プロンプト、イメージ、トークン予算、デコードを保持し、パフォーマンスがトークンの内容に依存するか単にトークンの存在に依存しているかを分離する。 制御されたテストベッドとして,LLaVA-13BとQwen2.5-VL-3Bを用いた相対深度推論,複数の凍結エンコーダ(SigLIP2,CLIP,DINOv2)およびトークン予算の連続的あるいは離散的な深度を予測および消費するためのトレーニングモデルについて検討した。 さらに,BLINK,VSP,CV-Benchの3つの市販ビジュアル思考システム(Mirage, Mull-Tokens, CoVT)にRTTを適用した。 トークンの内容が破損したり置き換えられたりしても、VLMは最大の改善を保ちます。 我々は,連続した思考トークンを導入するメソッドに対して,標準診断としてRTを推奨する。

関連論文リスト

• Stage-adaptive Token Selection for Efficient Omni-modal LLMs [17.161087166882744]
  om-LLMの層単位でのトークン依存性を解析する。 効率的なom-LLM推論のための訓練不要な段階適応トークン選択法を提案する。
  論文  参考訳（メタデータ） (2026-05-19T15:55:16Z)
• TTE-Flash: Accelerating Reasoning-based Multimodal Representations via Think-Then-Embed Tokens [32.700228795574255]
  TTE-Flash-2Bは,MMEB-v2ベンチマークにおいて,その明示的なCoTよりも優れたマルチモーダル表現モデルである。 本研究では,1)LLMバックボーンからトークンの考え方と埋め込みを抽出する方法,2)トークンを2つの依存タスクとしてトレーニングする方法,の2つの重要なアーキテクチャ設計について検討する。
  論文  参考訳（メタデータ） (2026-05-15T21:10:56Z)
• SVD-Prune: Training-Free Token Pruning For Efficient Vision-Language Models [0.6299766708197883]
  そこで本研究では,Singular Value Decompositionに基づく,学習不要でプラグアンドプレイのトークンプルーニング手法であるSVD-Pruneを提案する。 ビジョントークンの特徴行列を分解し、統計レバレッジスコアを使用してトップKトークンを選択する。 実験の結果、SVD-Prune は極端視覚トークンの予算下でのプルーニング手法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2026-04-13T14:30:13Z)
• Keeping the Evidence Chain: Semantic Evidence Allocation for Training-Free Token Pruning in Video Temporal Grounding [16.537148896706036]
  Video Temporal Grounding (VTG)は、クエリ関連モーメントの時間的境界を、長い、トリミングされていないビデオでローカライズする。 本稿では,セマンティックな役割を持つコンパクトだがコヒーレントなトークンサブセットを構成する,トレーニング不要なプルーニングフレームワークSemVIDを提案する。
  論文  参考訳（メタデータ） (2026-03-05T20:25:32Z)
• ConsensusDrop: Fusing Visual and Cross-Modal Saliency for Efficient Vision Language Models [4.273730624882391]
  視覚言語モデル(VLM)は、LLMが数百のほとんど冗長な視覚トークンを処理するため、高価である。 いずれの信号も十分ではないことが示される: それらを融合することで、一意的な視覚トークン選択(ランキング)に比べて、一貫して性能が向上する。 textbfConsensusDropは、視覚エンコーダのサリエンシをクエリ対応のクロスアテンションと整合させることにより、アンフコンセンサスランキングを導出する、トレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T00:28:55Z)
• SCOPE: Saliency-Coverage Oriented Token Pruning for Efficient Multimodel LLMs [59.415473779171315]
  textbfSaliency-textbfCoverage textbfOriented token textbfPruning for textbfEfficient MLLMs。
  論文  参考訳（メタデータ） (2025-10-28T09:29:37Z)
• VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
  最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。 Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
  論文  参考訳（メタデータ） (2025-03-21T09:46:31Z)
• Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation [89.88214896713846]
  STAスコアは、時間的冗長性と意味的重要性の2つの重要な要因を考慮に入れている。 市販のビデオトランスフォーマーとビデオウィンにSTAモジュールを適用する。 結果: Kinetics-400 と something-Something V2 は 30% のオーバーシェルフ削減を実現し,0.2% の精度低下を実現した。
  論文  参考訳（メタデータ） (2023-08-08T19:38:15Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。