論文の概要: Decide Before You Look: Learning Which Retrieved Memories Deserve Pixels
- arxiv url: http://arxiv.org/abs/2610.07984v1
- Date: Tue, 06 Oct 2026 08:47:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.903738
- Title: Decide Before You Look: Learning Which Retrieved Memories Deserve Pixels
- Title（参考訳）: 思い出を保存した写真を学習してみる(動画あり)
- Abstract要約: 検索後、検索された各画像は、ピクセルとして、画像当たり約1000の視覚的トークンとして、または、質問された詳細をしばしば見逃す、格納されたテキストプロキシとして、応答モデルに到達する。
画素の利点は、通常1つか2つの検索された記憶から得られ、全解像度画像を読み取ることなく、解答モデルが実行される前に予測できることが分かる。
PixelTriageは、検索後に配置されたプラグインで、テキストを生成しない小さなモデルは、ダイアログ、短いメモ、検索したメモリのサムネイルを読み、そのピクセルがどれだけ追加するかを予測する。
- 参考スコア（独自算出の注目度）: 0.65268245109828
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal assistants answer questions from long-term memories that contain images. After retrieval, each retrieved image reaches the answering model either as pixels, at about a thousand visual tokens per image, or as a stored text proxy that often misses the detail the question asks about. We find that the benefit of pixels usually comes from one or two retrieved memories, and that it can be predicted before the answering model runs, without reading any full-resolution image. In PixelTriage, a plug-in placed after retrieval, a small model that does not generate text reads the dialogue, a short note and a thumbnail of each retrieved memory and predicts how much its pixels would add. It is trained on synthetic memory episodes labeled by a frozen 27B model that answers each question with and without each memory's pixels. With a 7B answering model, PixelTriage lies on the accuracy--cost frontier of M$^3$Exam, DMV and MemEye and uses 11--23\% of the visual tokens without a significant loss of accuracy. On DMV it answers 2.9 times faster than opening all images. It outperforms retrieval order and uniform down-sizing at equal budgets and transfers to other memory systems and to a 397B answering model.
- Abstract（参考訳）: マルチモーダルアシスタントは、画像を含む長期記憶からの質問に答える。
検索後、検索された各画像は、ピクセルとして、画像当たり約1000の視覚トークンとして、または、質問された詳細を見逃すことが多い保存されたテキストプロキシとして、応答モデルに到達する。
画素の利点は、通常1つか2つの検索された記憶から得られ、全解像度画像を読み取ることなく、解答モデルが実行される前に予測できることが分かる。
PixelTriageは、検索後に配置されたプラグインで、テキストを生成しない小さなモデルは、ダイアログ、短いメモ、検索したメモリのサムネイルを読み取って、そのピクセルがどれだけ追加するかを予測する。
フリーズされた27Bモデルでラベル付けされた合成メモリエピソードに基づいてトレーニングされ、各問に対して各メモリのピクセルを使用せずに回答する。
7Bの応答モデルでは、PixelTriageはM$^3$Exam, DMV, MemEyeのフロンティアの上にあり、精度を著しく損なうことなく11--23\%のビジュアルトークンを使用する。
DMVでは、全画像を開くより2.9倍速い。
検索順序と均一なダウンサイズを同等の予算で達成し、他のメモリシステムや397B応答モデルに転送する。
関連論文リスト
- Sprout: Building Dynamic Memory While Reasoning for Agentic Video Understanding [20.212135389736456]
長いビデオ理解は、マルチモーダルな大言語モデルのコンテキスト制限を克服するために、ビデオメモリに依存している。
既存のメソッドはビルドテーマ推論パイプラインに従っている: メモリはビデオ全体に対してオフラインで構築され、静的ソースとして推論される。
Sproutは、推論中にメモリを構築するエージェントフレームワークであり、質問に答えると詳細なノードが芽生えるテンポラリなツリーである。
論文 参考訳（メタデータ） (2026-09-28T16:01:59Z) - Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning [77.7531245219403]
textscHomerは階層型オンラインメモリ探索および推論フレームワークである。
textscHomerの記憶は、生の知覚から繰り返される実体、明示的な時間的・因果関係と結びついた出来事まで、長いビデオのマルチスケール構造を反映している。
textscHomerは、M3-Bench-robot、M3-Bench-web、Video-MME-Longで$+5.5$、$+10.8$、$+4.4$ポイントで前のベストエージェントメソッドより優れている。
論文 参考訳（メタデータ） (2026-07-01T05:53:09Z) - One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA [21.546058294307244]
Latent Memoryは、各生のテキストや画像のエビデンスを1つの高次元のLatentトークンで置き換える潜在空間メモリパラダイムである。
3倍から10倍少ないジェネレータトークンを消費しながら、高度なRAGベースラインと比較して、競争力のあるQAパフォーマンスを実現する。
また、WebQA上で最も強力な画像グラウンドのQAパフォーマンスを提供することもできる。
論文 参考訳（メタデータ） (2026-06-09T08:36:08Z) - MemoryCard: Topic-Aware Multi-Modal Clue Compression for Long-Video Question Answering [54.54526361917178]
MemoryCardは長いビデオを自己完結型メモリカードに整理する。
その結果、MemoryCardは、同等の視覚的な予算の下で、長時間ビデオのQAパフォーマンスを継続的に改善することを示した。
論文 参考訳（メタデータ） (2026-06-04T09:23:31Z) - OmniQuery: Contextually Augmenting Captured Multimodal Memory to Enable Personal Question Answering [3.8233569758620063]
複雑な個人記憶に関する質問に答えられる新しいシステムであるOmniQueryを紹介する。
質問に対して、OmniQueryは関連する拡張メモリを取得し、大きな言語モデル(LLM)を使用して参照による回答を生成する。
人間の評価では,71.5%の精度でOmniQueryの有効性を示す。
論文 参考訳（メタデータ） (2024-09-12T17:48:08Z) - Associative Memories in the Feature Space [68.1903319310263]
本稿では,低次元のセマンティック埋め込みのみを記憶するメモリモデルを提案する。
MNISTデータセット上の単純なタスクに対して,本手法の概念実証を行う。
論文 参考訳（メタデータ） (2024-02-16T16:37:48Z) - Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。
既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。
我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
論文 参考訳（メタデータ） (2023-04-11T12:12:05Z) - REVEAL: Retrieval-Augmented Visual-Language Pre-Training with
Multi-Source Multimodal Knowledge Memory [119.98011559193574]
エンドツーエンドの検索型ビジュアル言語モデル(REVEAL)を提案する。
世界の知識を大規模なメモリにエンコードし、そこから取り出して知識集約的なクエリに答えることを学ぶ。
このアプローチの重要な特徴は、メモリ、エンコーダ、レトリバー、ジェネレータはすべて、大量のデータに対して、エンドツーエンドで事前訓練されていることです。
論文 参考訳（メタデータ） (2022-12-10T06:17:56Z) - A model of semantic completion in generative episodic memory [0.6690874707758508]
本稿では,生成エピソード記憶のための計算モデルを提案する。
このモデルは、意味論的に妥当な方法で、メモリトレースの欠落部分を完成させることができる。
また、エピソードメモリ実験をモデル化し、意味論的コングロレントコンテキストが常に非コングロレントメモリ実験よりもよくリコールされることを再現する。
論文 参考訳（メタデータ） (2021-11-26T15:14:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。