論文の概要: Keep Images in Sight: Visual Position Re-Anchoring for Long-Context MLLMs
- arxiv url: http://arxiv.org/abs/2611.15100v1
- Date: Wed, 11 Nov 2026 06:25:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.0636
- Title: Keep Images in Sight: Visual Position Re-Anchoring for Long-Context MLLMs
- Title(参考訳): 画像の見える化:長期MLLMのための視覚的位置再構成
- Abstract要約: キャッシュされた視覚キーの回転位相を質問処理の前に短いコンテキスト参照にシフトするための視覚的位置再構成(VPR)を提案する。
VPRは既存のKVキャッシュ上で直接動作し、アテンションマップを抽出したり、モデルフォワードパスを追加することなく、標準的なアテンション計算を保存する。
- 参考スコア(独自算出の注目度): 32.29200630983387
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-context multimodal intelligence requires revisiting earlier images as conversations and documents accumulate, yet retaining an image does not guarantee reliable access to its details. By varying context length, redistributing a fixed text passage around the image, and changing positions without adding text, we identify the positional relation between images and questions as a direct influence on visual access. To address this gap, we propose Visual Position Re-Anchoring (VPR), a training-free method that shifts cached visual-key rotary phases toward a short-context reference before question processing. It operates directly on the existing KV cache, preserving standard attention computation without extracting attention maps or adding model forward passes. We develop static and continuous compensation schedules, using the static schedule by default. Across ten checkpoints and ten benchmarks, static VPR improves 97 of 100 model--task scores. Further analysis shows greater attention to regions containing answer evidence across six checkpoints, with minimal runtime overhead under fixed rotary frequencies. These findings demonstrate an efficient way to sustain visual access through positional adjustment within the cache.
- Abstract(参考訳): 長いコンテキストのマルチモーダルインテリジェンスでは、会話や文書が蓄積されるにつれて、以前のイメージを再考する必要があるが、画像の保持は、その詳細への確実なアクセスを保証するものではない。
コンテクストの長さの変化、画像の周囲の固定されたテキストパスの再分配、テキストを追加せずに位置を変更することにより、画像と質問の位置関係を視覚的アクセスに直接的な影響を与えるものとして識別する。
このギャップに対処するために、キャッシュされた視覚キー回転位相を質問処理の前に短いコンテキスト参照にシフトする訓練不要なVisual Position Re-Anchoring (VPR)を提案する。
既存のKVキャッシュ上で直接動作し、アテンションマップを抽出したり、モデルフォワードパスを追加することなく、標準的なアテンション計算を保存する。
静的および連続的な補償スケジュールを,デフォルトで静的スケジュールを用いて開発する。
10のチェックポイントと10のベンチマークで、静的VPRは100のモデルスコアの97を改善している。
さらなる分析では、6つのチェックポイントにわたる答えエビデンスを含む領域に注意が向けられ、固定された回転周波数下でのランタイムオーバーヘッドは最小限である。
これらの結果は,キャッシュ内の位置調整を通じて視覚的アクセスを維持する効果的な方法を示す。
関連論文リスト
- LVMem: Image-Augmented Memory for Long-Horizon Question Answering [6.562689532334789]
本稿では,長期的な視覚的質問に答える効率的な枠組みを提案する。
我々はReMEmbRスタイルのメモリをイメージパスで拡張し、それぞれが保存した記述を元のビジュアルコンテンツに拡張する。
また、VLMをベースとしたエージェントに、最も関連性の高いキャプションに関連付けられた画像を返す適応検索ツールを装備する。
論文 参考訳(メタデータ) (2026-10-19T18:01:56Z) - Visual Navigation Transformer with Pose Attention [71.30300395578378]
本稿では,VNT-PA(Visual Navigation Transformer with Pose Attention)を提案する。
VNT-PAは、地上のシーンメッシュ上で動作している最短パスプランナーを模倣するように訓練されており、現在のポーズとゴール位置のみで空間コンテキストをクエリすることでアクションを予測する。
論文 参考訳(メタデータ) (2026-09-18T01:52:36Z) - Position Rebinding Cache Reuse: Replay-Free Visual Revisiting for Interleaved Multimodal Reasoning [51.563653495547335]
マルチモーダル推論は、マルチステップ生成中に視覚的証拠を再考することによって、視覚的接地を改善する。
再生不要な視覚的再考のためのキャッシュレベルフレームワークであるPlace Rebinding Cache Reuse (PRCR)を提案する。
PRCRはリプレイレベルまたはパフォーマンスの向上を実現し、平均精度を5%向上し、視覚的再考を最大数万倍削減する。
論文 参考訳(メタデータ) (2026-06-25T05:47:52Z) - FastOCR: Dynamic Visual Fixation via KV Cache Pruning for Efficient Document Parsing [51.905216364362325]
我々は2つの相補的なモジュールを持つトレーニングフリーフレームワークであるFastOCRを提案する。
FastOCRは未実行モデルの精度の98%を保持し、デコードステップあたりの視覚トークンの5%にしか到達しない。
論文 参考訳(メタデータ) (2026-05-17T13:39:47Z) - Breaking the Frame: Visual Place Recognition by Overlap Prediction [53.17564423756082]
本稿では,重なり合う予測に基づく新しい視覚的位置認識手法 VOP を提案する。
VOPは、Vision Transformerのバックボーンを使用してパッチレベルの埋め込みを取得することで、コビジュアブルなイメージセクションを進める。
提案手法では,データベース画像の重複点の評価に投票機構を用いる。
論文 参考訳(メタデータ) (2024-06-23T20:00:20Z) - CricaVPR: Cross-image Correlation-aware Representation Learning for Visual Place Recognition [73.51329037954866]
視覚的位置認識のための画像間相関認識を用いたロバストなグローバル表現手法を提案する。
本手法では,バッチ内の複数の画像の相関にアテンション機構を用いる。
本手法は,訓練時間を大幅に短縮し,最先端の手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-02-29T15:05:11Z) - Drone Referring Localization: An Efficient Heterogeneous Spatial Feature Interaction Method For UAV Self-Localization [22.94589565476653]
我々は、Drone Referring Localization(DRL)と呼ばれる、効率的な異種空間特徴相互作用法を提案する。
異なるデータソースを分離して扱う従来の方法とは異なり、DRLは異種特徴の学習可能な相互作用を促進する。
従来のIR法と比較して、DRLはより優れたローカライズ精度(MA@20 + 9.4%)を実現し、計算時間(1/7)とストレージオーバーヘッド(2/3)を大幅に削減した。
論文 参考訳(メタデータ) (2022-08-13T03:25:50Z) - Content-Based Detection of Temporal Metadata Manipulation [91.34308819261905]
画像の撮像時間とその内容と地理的位置とが一致しているかどうかを検証するためのエンドツーエンドのアプローチを提案する。
中心となる考え方は、画像の内容、キャプチャ時間、地理的位置が一致する確率を予測するための教師付き一貫性検証の利用である。
我々のアプローチは、大規模なベンチマークデータセットの以前の作業により改善され、分類精度が59.03%から81.07%に向上した。
論文 参考訳(メタデータ) (2021-03-08T13:16:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。