論文の概要: Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs

• arxiv url: http://arxiv.org/abs/2610.36671v1
• Date: Tue, 27 Oct 2026 05:43:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.521583
• Title: Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs
• Title（参考訳）: 必要なときだけ見える:効率的な拡散VLMのための認証ガイド付きビジュアルルーティング
• Abstract要約: 拡散視覚言語モデル (DVLM) は、各段階で全ての入力を処理する。 ビジュアルトークンは、私たちが調査したベンチマークで、この入力の89～97%を占めています。 本稿では,各ステップ毎に画像を処理するか,何個のトークンをアンマスクするかを決定する復号法であるLOWNを提案する。
• 参考スコア（独自算出の注目度）: 43.0464614669114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion vision-language models (DVLMs) process their entire input at every denoising step. Since visual tokens make up 89-97% of this input on the benchmarks we study, most of the decoding computation is spent repeatedly processing the same image. Visual token pruning methods partially relieve this burden by removing part of the visual tokens, but they lose the removed information and still process the remaining image at every step. To measure how often the image is actually needed, we compare LLaDA-V's predictions with and without the image at every decoding step and find that removing the image changes a token being unmasked at only 22.8% of steps on average and at as few as 7.9%. We therefore propose LOWN, a decoding method that decides at every step whether to process the image and how many tokens to unmask. LOWN predicts the masked tokens without the image and processes the image only when this prediction disagrees with the last image-conditioned prediction. Agreement certifies the earlier prediction for reuse, and the number of certified tokens sets how many are unmasked in that step. We further observe that the need for the image differs across benchmarks, so LOWN's adaptive decision is needed rather than a fixed schedule. Without training or a tuned threshold, LOWN retains 99.6% of LLaDA-V's score on ten benchmarks at 35.3% of the decoding FLOPs on average. LOWN also generalizes across LLaDA-based DVLMs, composes orthogonally with visual token pruning, and runs under key-value caching for further efficiency gains. Code and project page are available at https://hyeon9698.github.io/LOWN/
• Abstract（参考訳）: 拡散視覚言語モデル (DVLM) は、各段階で全ての入力を処理する。 視覚トークンはこの入力の89-97%を占めており、復号処理のほとんどは同じ画像の繰り返し処理に費やされている。 視覚トークンプルーニング法は、視覚トークンの一部を除去することで、この負担を部分的に軽減するが、除去された情報を失い、残りの画像をステップ毎に処理する。 画像が実際にどれだけの頻度で必要とされるかを測定するために、LLaDA-Vの予測とデコードの各ステップで画像なしで比較し、画像を削除すると、平均して22.8%のステップで、かつ7.9%未満で、トークンが変更されることが分かる。 そこで我々は,画像を処理すべきか,何個のトークンをアンマスクするかを,各ステップで決定する LOWN を提案する。 LOWNは画像なしでマスクされたトークンを予測し、この予測が最終画像条件の予測と一致しない場合にのみ画像を処理する。 合意は、再利用に関する以前の予測を証明し、認証されたトークンの数は、そのステップで何人がミスを受けていないかを定義します。 さらに、画像の必要性はベンチマークによって異なるので、LOWNの適応的な決定は、固定スケジュールではなく、必要である。 トレーニングや調整済みしきい値がなければ、LOWNは平均で10ベンチマークでLLaDA-Vのスコアの99.6%を、デコードFLOPの35.3%で保持する。 LOWNはまた、LLaDAベースのDVLMをまたいで一般化し、視覚トークンプルーニングと直交して構成し、キー値キャッシュの下で実行することで、さらなる効率向上を実現している。 コードとプロジェクトページはhttps://hyeon9698.github.io/LOWN/で公開されている。

関連論文リスト

• Visual Information-Guided Parallel Decoding for Diffusion Multimodal Large Language Models [20.55764219638966]
  拡散型マルチモーダル大言語モデル (dMLLM) は、マルチモーダル生成のための新しいデコードパラダイムとして登場した。 画像トークンへの注目度に基づいてトークンを優先順位付けするVIG-Samplerを提案する。 3つのオープンソースdMLLMを用いた7つのキャプションとVQAベンチマークの実験は、VIG-Samplerの有効性を示している。
  論文  参考訳（メタデータ） (2026-08-27T03:46:27Z)
• Enhancing Multi-Image Understanding through Delimiter Token Scaling [25.247506519133406]
  LVLM(Large Vision-Language Models)は,複数の画像が入力として提供されると,その性能が低下する。 主要な理由の1つはクロスイメージ情報漏洩であり、そこではモデルは異なる画像間で情報を区別するのに苦労する。 既存のLVLMでは、各画像の開始と終了をマークするためにトークンが既に使用されているが、分析の結果、これらのトークンがクロスイメージ情報漏洩を効果的にブロックできないことが判明した。 トークンの隠蔽状態を拡大する手法を提案する。これにより、画像内相互作用を強化し、望ましくないクロスを制限することにより、画像固有情報を保存できる能力が向上する。
  論文  参考訳（メタデータ） (2026-02-02T11:38:01Z)
• Balanced Token Pruning: Accelerating Vision Language Models Beyond Local Optimization [30.73986620551153]
  LVLM(Large Vision-Language Models)は、イメージを数千のトークンにエンコードすることで、マルチモーダルタスク全体で素晴らしいパフォーマンスを示している。 従来のアプローチでは、トークンのプルーニングによって画像トークンの数を減らそうとしていた。 本稿では,視覚トークンをプルーニングするためのプラグイン・アンド・プレイ方式であるBa balanced Token Pruning (BTP)を提案する。
  論文  参考訳（メタデータ） (2025-05-28T07:00:50Z)
• Transformer based Pluralistic Image Completion with Reduced Information Loss [72.92754600354199]
  トランスフォーマーをベースとした手法は,近年,イメージインペイントにおいて大きな成功を収めている。 彼らは各ピクセルをトークンとみなし、情報損失の問題に悩まされる。 我々はPUTと呼ばれる新しいトランスフォーマーベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-31T01:20:16Z)
• ELIP: Efficient Language-Image Pre-training with Fewer Vision Tokens [75.09406436851445]
  本稿では,言語出力の監督による影響の少ないトークンを除去するために,視覚トークンのプルーニングとマージ手法ELIPを提案する。 実験により、12層のViT層に30$%のビジョントークンが削除されたことにより、ELIPは著しく同等のパフォーマンスを維持した。
  論文  参考訳（メタデータ） (2023-09-28T05:31:07Z)
• Leveraging per Image-Token Consistency for Vision-Language Pre-training [52.825150269820696]
  クロスモーダルマスク言語モデリング(CMLM)は視覚言語事前学習には不十分である。 視覚言語事前学習のためのEPIC(Leveraging Per Image-Token Consistency)を提案する。 提案手法は, 事前学習法と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2022-11-20T12:10:53Z)
• Not All Patches are What You Need: Expediting Vision Transformers via Token Reorganizations [37.11387992603467]
  ViT(Vision Transformer)は、すべてのイメージパッチをトークンとして取り込んで、MHSA(Multi-head Self-attention)を構築する。 例えば、意味的に無意味な画像背景を含むトークンがある。 本稿では、トレーニング中にViTに統合されたVTモデルのフィードフォワードプロセス中に画像トークンを再編成することを提案する。
  論文  参考訳（メタデータ） (2022-02-16T00:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。