論文の概要: FOCUS: Closed-Loop Attention Feedback for Efficient Vision-Language Understanding

• arxiv url: http://arxiv.org/abs/2611.01438v1
• Date: Sun, 01 Nov 2026 02:20:07 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:29:58.661729
• Title: FOCUS: Closed-Loop Attention Feedback for Efficient Vision-Language Understanding
• Title（参考訳）: FOCUS: 効率的な視覚・言語理解のための閉ループ注意フィードバック
• Abstract要約: FOCUSはトレーニングフリーの3層フレームワークで、呼び出し数やステアの数を減らし、何が重要なのかを判断する。 1クリップあたり25.4VLMコールで74.8%の精度に達し、74.6%、均一サンプリングで55回の呼び出しで74.2%、BOLTで55回の呼び出しで74.2%に達した。 4つのドメインにまたがるエゴセントリックなビデオキャプションでは、最高のベースラインの品質と一致し、均一サンプリングよりもVLM呼び出しが少ない。
• 参考スコア（独自算出の注目度）: 0.1689566939105185
• License:
• Abstract: Processing every video frame through Vision-Language Models (VLMs) adds significant inference cost and limits their ability to comprehend real-time video. Existing approaches either sub-sample frames uniformly, ignoring content and missing important events, or prune visual tokens inside the VLM to cut per-call cost while still invoking the model on every sampled frame. We introduce FOCUS, a training-free three-layer framework that reduces the number of invocations and steers each one towards what matters. Temporal gating measures inter-frame dissimilarity in the patch-embedding space of a smaller VLM from the same family, triggering burst captures only when the scene changes in a semantically meaningful way. Patch-level dissimilarity is then accumulated across the burst and fused with a top-down attention prior into a spatial focus map that encodes where motion and semantic relevance coincide. That map calibrates the VLM's value cache during generation, progressively amplifying vision tokens in task-relevant regions and attenuating off-target ones, without removing any token from the context. The loop closes after each response: text-to-vision cross-attention is extracted from the decoder and fed back as the prior for the next burst, letting the system converge on semantically important regions over successive observations. We evaluate FOCUS on the 500-video EgoSchema subset in streaming mode, with a single Qwen3-VL-8B backbone shared by every method. It reaches 74.8% accuracy using 25.4 VLM calls per clip, against 74.6% with 55 calls for uniform sampling and 74.2% with 55 calls for BOLT. On egocentric video captioning across four domains, it matches the best baseline's quality while issuing 57% fewer VLM invocations than uniform sampling.
• Abstract（参考訳）: Vision-Language Models (VLM) を通じて、すべてのビデオフレームを処理することで、推論コストが大幅に増加し、リアルタイムビデオを理解する能力が制限される。 既存のアプローチでは、サブサンプルフレームを均一に使用し、コンテンツを無視し、重要なイベントを欠くか、VLM内のプルー・ビジュアルトークンを使用して呼び出し毎のコストを削減しつつ、サンプルフレーム毎にモデルを呼び出している。 トレーニング不要な3層フレームワークであるFOCUSを導入する。 時間ゲーティングは、同じ家族の小さなVLMのパッチ埋め込み空間におけるフレーム間の異性度を測定し、シーンが意味論的に意味のある方法で変化する場合にのみバーストキャプチャをトリガーする。 パッチレベルの相似性はバースト全体に蓄積され、前もってトップダウンの注意で融合され、動きと意味的関連性が一致した場所を符号化する空間的焦点マップに変換される。 このマップは生成中にVLMの値キャッシュを校正し、タスク関連領域の視覚トークンを徐々に増幅し、ターゲット外のトークンを減らし、コンテキストからトークンを除去する。 ループは反応の後に閉じる: テキスト・ツー・ビジョン・クロスアテンションはデコーダから抽出され、次のバーストの先頭として送り返され、システムは連続した観測よりも意味的に重要な領域に収束する。 ストリーミングモードでは,500ビデオのEgoSchemaサブセット上でFOCUSを評価し,Qwen3-VL-8Bのバックボーンを1つずつ共有する。 1クリップあたり25.4VLMコールで74.8%の精度に達し、74.6%、均一サンプリングで55回の呼び出しで74.2%、BOLTで55回の呼び出しで74.2%に達した。 4つのドメインにまたがるエゴセントリックなビデオキャプションでは、最高のベースラインの品質と一致し、均一サンプリングよりも57%少ないVLM呼び出しを発行する。

関連論文リスト

• MoG-VLM: Efficient Video Anomaly Detection through Motion-Guided Vision-Language Models [32.56479406653528]
  MoG-VLMはモーション適応型異常検出フレームワークである。 本稿では,情報領域に集中してコンテンツ認識サンプリングを行うTGMについて紹介する。 4つのベンチマークで、XD-Violence, UCF-Crime, MSAD, ShanghaiTech上で91.91%、84.30%、87.88%、78.96%のAUC-ROCを達成した。
  論文  参考訳（メタデータ） (2026-10-22T16:03:47Z)
• TraceICL: Thread-Resolved Demonstration Curation with Consistency Calibration for Robust Multimodal In-Context Learning [1.7507301683087861]
  Interleaved In-Language(インターリーブド・インランゲージ・ラーニング)は、モデルが少数の画像テキスト回答デモから新しいタスクを取得できるようにする。 AVAは、マルチモーダルICLのデモパイプラインを3つの構成可能なステージにまとめる、トレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2026-10-07T19:31:54Z)
• Enhancing Long-Video VLM Embeddings with Query-Aware Streaming Latent Reasoning [48.92009312610144]
  長いビデオの埋め込みには、限られた視覚的な予算の下で、スパースクエリ関連エビデンスをキャプチャする必要がある。 textbfQuery-Aware Streaming Latent Reasoning (QASLR)を紹介する。 QASLRはフレームの有界集合を選択し、時間順を復元し、ヴィジュアル言語によるバックボーンでクリップで処理する。
  論文  参考訳（メタデータ） (2026-10-04T02:05:48Z)
• CoVisco: Codec-Native Vision Encoder with Native Token Compression for Unified Image-Video Understanding [34.5182550044725]
  CoViscoは、画像とビデオの統一理解のためのネイティブトークン圧縮を備えたビジョンエンコーダである。 ネイティブインプットサポートとセグメンテーションされたアテンションを組み合わせることで、CoViscoは単一のフォワードパスで長いビジュアルインプットをエンコードできる。 CoViscoは、ビデオ指向の埋め込みとマルチモーダル理解ベンチマークで競合するパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-09-30T15:12:10Z)
• Frames2LoRA: Parametric Video Internalization for Vision-Language Models [52.46510577817688]
  Frames2LoRAはパラメトリックビデオ内部化の手法である。 知覚者ハイパーネットワークは、層ごとに生成された中間表現を読み出し、凍結されたVLMがビデオをエンコードする。 ローランド適応 (LoRA) アダプタを1つのフォワードパスで生成する。
  論文  参考訳（メタデータ） (2026-06-03T02:07:35Z)
• One Token per Highly Selective Frame: Towards Extreme Compression for Long Video Understanding [51.08792182064565]
  長いビデオ理解は、膨大なフレーム数のため、視覚言語モデル(VLM)にとって本質的に困難である。 通常、ビデオフレームは数十から数百のトークンに拡張されるため、大きな言語モデル(LLM)のコンテキスト長は制限され、VLMはフレームをわずかに知覚し、時間的情報を失う。 本稿では,XComp という長大なビデオ理解のための極端な圧縮モデルを提案する。
  論文  参考訳（メタデータ） (2026-04-15T17:59:52Z)
• Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
  既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。 より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
  論文  参考訳（メタデータ） (2026-02-20T18:59:50Z)
• BOLT: Boost Large Vision-Language Model Without Training for Long-form Video Understanding [51.49345400300556]
  大規模ビデオ言語モデル (VLM) は様々なビデオ理解タスクにおいて有望な進歩を示した。 均一なフレームサンプリングのような伝統的なアプローチは、必然的に無関係なコンテンツにリソースを割り当てる。 本稿では,フレーム選択戦略の総合的研究を通じて,付加的なトレーニングを伴わずに大規模VLMをブーストする方法であるBOLTを紹介する。
  論文  参考訳（メタデータ） (2025-03-27T13:18:40Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。