論文の概要: StreamEmbed: Real-Time Indexing from Pixels for Screenshot Retrieval
- arxiv url: http://arxiv.org/abs/2611.18516v1
- Date: Fri, 13 Nov 2026 18:35:17 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:21:45.187582
- Title: StreamEmbed: Real-Time Indexing from Pixels for Screenshot Retrieval
- Title(参考訳): StreamEmbed: スクリーンショット検索のためのPixelからのリアルタイムインデックス作成
- Abstract要約: OCRベースのインデックス作成は高速だが視覚情報を失う。
本稿では,この冗長性を利用したインクリメンタルな視覚埋め込みシステムStreamEmbedを紹介する。
ScreenMemEvalのベンチマークでは、2人の人間とコンピューター使用エージェントの184時間にわたる画面履歴について10,426の質問が行なわれました。
- 参考スコア(独自算出の注目度): 79.45369871040678
- License:
- Abstract: Screen history can serve as searchable visual memory for people and agents, but unlike an offline corpus, it must be encoded and indexed as each screenshot arrives. OCR-based indexing is fast but loses visual information; visual encoding takes over two seconds. Yet screens change incrementally: most pixels repeat within and across screenshots. This raises a question: do visual encoders need to recompute their representations from scratch for every new screenshot? We present StreamEmbed, a system for incremental visual embedding that exploits this redundancy. Guided solely by pixel differences, it combines spatial token pruning, which skips blocks that repeat a neighbor, with temporal KV reuse, which reuses cached keys and values for blocks unchanged across screenshots. A small learned adapter compensates for pruning and reuse to preserve fidelity to full-screenshot embeddings. On ScreenMemEval, our benchmark of 10,426 questions over 184 hours of screen histories from two humans and a computer-use agent, StreamEmbed sets a new accuracy-latency Pareto frontier on an M2 Pro GPU: it encodes up to 3.7x faster than full-screenshot encoding without sacrificing accuracy and improves accuracy over OCR-based indexing by up to 6.3 Recall@10 points at matched latency. A memory-efficient vector index stores a simulated year of screenshots in 0.13 GB of RAM. Together, these results make real-time indexing of screen history in its native visual form practical, laying a foundation for fully local visual assistants.
- Abstract(参考訳): スクリーン履歴は人やエージェントの検索可能なビジュアルメモリとして機能するが、オフラインのコーパスとは異なり、スクリーンショットが到着するたびにエンコードされインデックス化されなければならない。
OCRベースのインデックスは高速だが視覚情報を失う。
しかし、画面は徐々に変わっていく。ほとんどのピクセルは、スクリーンショットの中で、またがって繰り返される。
ビジュアルエンコーダは、新しいスクリーンショットごとに、その表現をスクラッチから再計算する必要がありますか?
本稿では,この冗長性を利用したインクリメンタルな視覚埋め込みシステムStreamEmbedを紹介する。
ピクセル差のみによってガイドされ、隣接するブロックをスキップする空間トークンプルーニングと、スクリーンショット間で変更されていないブロックのキャッシュキーと値を再利用する時間的KV再利用を組み合わせる。
小型の学習アダプタはプルーニングと再利用を補償し、フルスクリーンの埋め込みに忠実さを保持する。
当社のベンチマークであるScreenMemEvalでは,2人の人間とコンピュータ使用エージェントによる184時間のスクリーン履歴に関する10,426の質問に対して,StreamEmbedがM2 Pro GPUに新たな精度レイテンシのParetoフロンティアを設定しています。
メモリ効率のベクトルインデックスは、シミュレーションされた1年分のスクリーンショットを0.13GBのRAMに格納する。
これらの結果により、画面履歴のリアルタイムインデックス化をネイティブな視覚形態で実現し、完全に局所的な視覚アシスタントの基礎を築いた。
関連論文リスト
- Repository-Context-Guided Image Understanding for Agentic Software Development [2.840315030821458]
コーディングエージェントは、バグレポートの一部として、UIスクリーンショットを受け取るようになっている。
画質の低下により、関連するUI要素やソースファイルの特定が不可能になる。
本稿では,レポジトリレンダリングされた参照画像を用いた符号化エージェントの拡張を提案する。
論文 参考訳(メタデータ) (2026-11-09T08:33:52Z) - Parallelism-Aligned Pruning and Round-Aware Context Reuse for On-Device Multimodal Agents [5.736823800271467]
マルチモーダルエージェントは 2つの配置ミスマッチによって制限されます
並列性に整合した構造化プルーニングと終生認識型KV-cache再構成を組み合わせたPARCを提案する。
論文 参考訳(メタデータ) (2026-11-02T06:26:26Z) - W2Rep: Learning Visual Representations by Watching the World Change [56.997925526858296]
画像自己監督は1つの瞬間から空間構造を学習し、ビデオ手法は複数のフレームから計算された表現の内部の時間的関係を一般的に学習する。
シーンの変更を見ることは、ビデオの表現能力を犠牲にすることなく、ある画像から利用できる機能を改善できるかどうかを問う。
W2Repは、独立に符号化されたソースイメージが同時に他の瞬間に予測に参加するマスク付き特徴予測フレームワークである。
論文 参考訳(メタデータ) (2026-09-28T15:51:41Z) - Position Rebinding Cache Reuse: Replay-Free Visual Revisiting for Interleaved Multimodal Reasoning [51.563653495547335]
マルチモーダル推論は、マルチステップ生成中に視覚的証拠を再考することによって、視覚的接地を改善する。
再生不要な視覚的再考のためのキャッシュレベルフレームワークであるPlace Rebinding Cache Reuse (PRCR)を提案する。
PRCRはリプレイレベルまたはパフォーマンスの向上を実現し、平均精度を5%向上し、視覚的再考を最大数万倍削減する。
論文 参考訳(メタデータ) (2026-06-25T05:47:52Z) - PIXELRAG: Web Screenshots Beat Text for Retrieval-Augmented Generation [70.26672362704758]
我々は,Webサイトを視覚的に表現する新しい検索拡張手法であるPixelRAGを紹介する。
PixelRAGはこの形式で完全なウィキペディアコーパス上で動作する最初のパイプラインである。
非検索とテキストベースのRAGベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-06-01T23:20:51Z) - NeuMap: Neural Coordinate Mapping by Auto-Transdecoder for Camera
Localization [60.73541222862195]
NeuMapは、カメラのローカライゼーションのためのエンドツーエンドのニューラルマッピング手法である。
シーン全体を遅延コードグリッドにエンコードし、Transformerベースのオートデコーダがクエリピクセルの3D座標を回帰する。
論文 参考訳(メタデータ) (2022-11-21T04:46:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。