論文の概要: Query-adaptive Recurrent Tokenization

• arxiv url: http://arxiv.org/abs/2610.22957v1
• Date: Fri, 16 Oct 2026 05:28:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.772772
• Title: Query-adaptive Recurrent Tokenization
• Title（参考訳）: クエリ適応リカレントトークン化
• Abstract要約: クエリ・アダプティブ・リカレント・トケナイザ(QART)は,クエリ・ステアブルと予算・アダプティブの両方を視覚的に表現するバックボーンに依存しないモジュールである。 QARTは、要求される情報量にトークン予算を適用しながら、クエリ関連エビデンスに対する視覚的表現を操縦する。 Visual7WとVQAv2では、QARTは約29のビジュアルトークンを使用して81.96%と76.37%の精度を実現し、密度の高いVLM入力に対してトークン数を20～25倍削減した。
• 参考スコア（独自算出の注目度）: 5.949779668853554
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual information worth extracting from an image and the token budget it warrants depend on the text query. Yet modern vision and vision-language models largely encode images independently of the query and allocate a fixed visual token budget to every input. We introduce the Query-Adaptive Recurrent Tokenizer (QART), a backbone-agnostic module that makes visual representations both query-steerable and budget-adaptive. QART steers the visual representation toward query-relevant evidence while adapting its token budget to the amount of information required. Its key principle is simple. Additional tokens are allocated until the visual features relevant to the query are represented with sufficient fidelity. Starting from frozen encoder features, QART recurrently constructs a compact representation and uses reconstruction quality over the query-relevant visual support to control token allocation. On Visual7W and VQAv2, QART achieves 81.96% and 76.37% accuracy using only about 29 visual tokens, reducing token counts by 20-25x relative to dense VLM inputs. It further reaches 92.0% P@1 on CORE and 36.3% PR-AUC on PODS, outperforming SteerViT on PODS by 8.4%. Together, these results show that visual representations need not be fixed in either content or capacity and can instead adapt to what each query requires.
• Abstract（参考訳）: 画像から抽出する価値のあるビジュアル情報とそれが保証するトークン予算は、テキストクエリに依存する。 しかし、現代の視覚と視覚言語モデルは、主にクエリとは独立して画像をエンコードし、全ての入力に固定された視覚トークン予算を割り当てる。 クエリ・アダプティブ・リカレント・トケナイザ(QART)は,クエリ・ステアブルと予算・アダプティブの両方を視覚的に表現するバックボーンに依存しないモジュールである。 QARTは、要求される情報量にトークン予算を適用しながら、クエリ関連エビデンスに対する視覚的表現を操縦する。 基本原理は単純である。 クエリに関連する視覚的特徴が十分な忠実度で表現されるまで、追加のトークンが割り当てられる。 凍結エンコーダ機能から始めると、QARTはコンパクトな表現をリカレントに構築し、クエリ関連ビジュアルサポートに対する再構成品質を使用してトークン割り当てを制御する。 Visual7WとVQAv2では、QARTは約29のビジュアルトークンを使用して81.96%と76.37%の精度を実現し、密度の高いVLM入力に対してトークン数を20～25倍削減した。 さらにCOREでは92.0%のP@1、PODSでは36.3%のPR-AUCに達し、PODSではSteerViTを8.4%上回っている。 これらの結果は、視覚的な表現はコンテンツまたはキャパシティで固定する必要がなく、代わりに各クエリに必要なものに適応できることを示している。

関連論文リスト

• Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning [67.2146856614177]
  ViMoDは、推論が進化するにつれて、元のきめ細かい証拠へのアクセスを保ちながら、コンパクトな視覚コンテキストを維持する軽量フレームワークである。 Qwen3-VL-4Bでは、ViMoDは8つの推論ベンチマークのベースラインを20%の視覚トークン予算で上回っている。
  論文  参考訳（メタデータ） (2026-10-08T14:42:57Z)
• Just MLPs: Efficient Visual State Reconstruction for Multimodal Language Models [53.964810481070636]
  大規模言語モデル(MLLM)における計算オーバーヘッドのかなりの部分を占める長い視覚トークンシーケンス 既存のアプローチは、冗長な視覚トークンを刈り取ることでこのコストを削減するが、その後のレイヤで有用になる可能性のある視覚的証拠を永久に破棄する。 視覚トークンの繰り返しトランスフォーマー進化を軽量な低ランクアダプタに置き換える$-Visionを提案する。
  論文  参考訳（メタデータ） (2026-09-28T11:52:45Z)
• StackTok: Accelerating VLMs Inference with Budget-Adaptive Visual Token Selection [17.809800994999225]
  StackTokはトレーニング不要のセレクタで、クエリ関連を客観的かつ視覚的なカバレッジとして扱い、予算の校正サポートとして扱う。 試験されたすべてのモデルにおいて、トレーニング不要のセレクタの中では、第1位である。 高解像度のLLaVA-NeXT-7Bでは、95.26%のフルトーケン性能を保ち、2,880 (5.6%) の視覚トークンしか持たない。
  論文  参考訳（メタデータ） (2026-09-15T08:35:57Z)
• OccamToken: Efficient VLM Inference with Training-Free and Budget-Adaptive Token Pruning [24.164883144694656]
  OccamTokenは、絶対トークンランキングを登録された相対的エビデンステストに置き換える、トレーニング不要のフレームワークである。 我々はOccamTokenが、追加のトレーニングなしで精度と効率のトレードオフを継続的に改善していることを示します。
  論文  参考訳（メタデータ） (2026-05-28T09:20:47Z)
• ApET: Approximation-Error Guided Token Compression for Efficient VLMs [16.4657793751671]
  本稿では,近似エラーガイド付きToken圧縮フレームワークであるApETを紹介する。 ApETは、画像理解タスクのオリジナルパフォーマンスの95.2%を保持し、ビデオ理解タスクの100.4%を達成している。 ApETは無注意設計のため、FlashAttentionとシームレスに統合され、さらなる推論を可能にし、VLMのデプロイをより実用的なものにしている。
  論文  参考訳（メタデータ） (2026-02-23T14:15:37Z)
• Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning [82.39668822222386]
  ビジョントークンプルーニングは、効率的なビジョン言語モデル(VLM)のための効果的なアクセラレーション手法であることが証明された。 空間的整合性を維持しつつ,効率的な特徴集約を実現するための2段階のトークンプルーニングフレームワークである$textNwa$を提案する。 実験によると、textNwa$は複数のVQAベンチマーク(94%から95%)でSOTAのパフォーマンスを達成し、視覚的グラウンドタスク(7%から47%)を大幅に改善している。
  論文  参考訳（メタデータ） (2026-02-03T00:51:03Z)
• QuoTA: Query-oriented Token Assignment via CoT Query Decouple for Long Video Comprehension [86.0749609778104]
  既存の大規模ビデオ言語モデルを拡張した,アンテホックなトレーニングフリーモジュールQuoTAを提案する。 QuoTAは、クエリ関連性に基づいて、フレームレベルの重要度スコアを戦略的に割り当てる。 クエリをChain-of-Thoughts推論で切り離し、より正確なLVLMベースのフレーム重要度スコアリングを容易にする。
  論文  参考訳（メタデータ） (2025-03-11T17:59:57Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。