論文の概要: V-LUMEN: Visual Lookup Memory for Embedding Scaling in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.37019v2
• Date: Thu, 05 Nov 2026 09:02:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.366456
• Title: V-LUMEN: Visual Lookup Memory for Embedding Scaling in Vision-Language Models
• Title（参考訳）: V-LUMEN:視覚言語モデルにおけるスケーリングの埋め込みのためのビジュアルルックアップメモリ
• Abstract要約: 埋め込みレベルのスケーリングは、ルックアップベースのメモリを通じて言語モデルの容量を拡大する。 本稿では視覚パラメトリックモデルのためのビジュアルルックアップメモリであるV-LUMENを紹介する。 V-LUMENは5つの推論集約ベンチマークで、凍結したQwen3-VL-2Bのバックボーンを大幅に改善した。
• 参考スコア（独自算出の注目度）: 8.166475358364243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding-level scaling expands the capacity of language models through lookup-based memory rather than by increasing model depth, width, or dense computation. Extending this idea to vision-language models (VLMs) is challenging because visual features are continuous, spatially structured, and query-dependent, unlike discrete text tokens that naturally support n-gram lookup. We introduce V-LUMEN, a visual lookup memory for VLMs. V-LUMEN discretizes visual features with a frozen codebook, builds spatially aware memory keys through spatial aggregation-based hashing, and modulates them with text-conditioned relevance signals; all addressing is non-parametric, and the retrieved embeddings are fused into the backbone through a gated residual pathway. On five reasoning-intensive benchmarks, V-LUMEN substantially improves a frozen Qwen3-VL-2B backbone and transfers zero-shot to three benchmarks whose images are disjoint from the training data. At a matched parameter budget, moving part of a LoRA or MoE adapter's capacity into V-LUMEN preserves accuracy on two backbones, indicating that external visual memory is an independent capacity axis rather than a stronger adaptation method. Because lookup cost is constant in table size and incurred only once at prefill, this capacity grows in storage rather than in per-token compute. Code is available at https://github.com/miso-choi/V-Lumen.
• Abstract（参考訳）: 埋め込みレベルのスケーリングは、モデル深さ、幅、あるいは密度の計算量を増やすのではなく、ルックアップベースのメモリを通じて言語モデルのキャパシティを拡大する。 このアイデアを視覚言語モデル(VLM)に拡張することは、視覚的特徴が自然にn-gramのルックアップをサポートする離散テキストトークンとは異なり、連続的で空間的に構造化され、クエリ依存であるため、難しい。 本稿では,VLMのビジュアルルックアップメモリであるV-LUMENを紹介する。 V-LUMENは、凍結したコードブックで視覚的特徴を識別し、空間集約ベースのハッシュを通じて空間的に認識されたメモリキーを構築し、テキスト条件の関連信号で変調する。 5つの推論集約ベンチマークでは、V-LUMENは凍結したQwen3-VL-2Bのバックボーンを大幅に改善し、ゼロショットをトレーニングデータから切り離された3つのベンチマークに転送する。 一致したパラメータ予算では、LoRAまたはMoEアダプタの容量の一部をV-LUMENに移動させることで、2つのバックボーンの精度を保ち、外部視覚記憶はより強力な適応法ではなく独立したキャパシティ軸であることを示す。 ルックアップコストはテーブルサイズで一定であり、プリフィル時に1回だけ発生するため、この容量はトーケン単位の計算よりもストレージで増加する。 コードはhttps://github.com/miso-choi/V-Lumen.comで入手できる。

関連論文リスト

• Lngram v2: Latent N-Gram Memory with Interpretable Discrete Representations [8.050927352582827]
  トランスフォーマーにはネイティブなルックアップ機構がなく、ローカルな静的パターンを認識して再利用するためには、繰り返し密集した計算が必要である。 Lngram v1は、離散的なn-gramアドレッシングを通じてトークン化非依存の条件記憶を導入する。 Lngram v2はルート数、メモリ次元、バックボーン幅を分離する。
  論文  参考訳（メタデータ） (2026-09-03T06:33:23Z)
• EvoMemNav: Efficient Self-Evolving Fine-Grained Memory for Zero-Shot Embodied Navigation [81.54723508469617]
  EvoMemNavは、ゼロショットエンボディナビゲーションのための効率的で自己進化的できめ細かいメモリフレームワークである。 VSMGraphは、セマンティックキューとトポロジ的関係を持つビューをルームビューオブジェクト階層に整理する。 GOAT-BenchとHM3Dのオブジェクト、テキスト記述、画像ゴールのモダリティによる実験は、SR/SPLにおいて一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-06-02T11:27:44Z)
• Memory Grafting: Scaling Language Model Pre-training via Offline Conditional Memory [65.39827296429527]
  条件付きメモリのスケーリングは、言語モデルのキャパシティを向上する有望な方法である。 Engramのような既存の方法は、事前トレーニング中にスクラッチから大きなメモリテーブルを学習する。 本研究では, グラフトモデルから凍結した隠蔽状態を条件n-gramメモリとして利用する条件記憶スケーリング手法であるメモリグラフトを提案する。
  論文  参考訳（メタデータ） (2026-05-20T09:35:04Z)
• Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs [66.15429821530503]
  Persistent Visual Memoryは、ビジュアルエビデンスへの持続的でオンデマンドアクセスを強化するために設計された、軽量の学習可能なモジュールである。 Qwen3-VLモデルの実験は、PVMが無視可能なパラメータオーバーヘッドで顕著な改善をもたらすことを示した。 詳細な分析により、PVMはより長い世代で堅牢性が向上し、内部予測収束が加速することが明らかとなった。
  論文  参考訳（メタデータ） (2026-05-01T17:54:37Z)
• ResPrune: Text-Conditioned Subspace Reconstruction for Visual Token Pruning in Large Vision-Language Models [59.94664910790462]
  ResPruneは、大規模な視覚言語モデルのためのトレーニング不要のビジュアルトークンプルーニングフレームワークである。 視覚トークンのコンパクトだが情報に富むサブセットを選択する。 これは、計算、メモリ消費、推論遅延を効果的に削減する。
  論文  参考訳（メタデータ） (2026-03-22T07:44:45Z)
• ReWind: Understanding Long Videos with Instructed Learnable Memory [8.002949551539297]
  VLM(Vision-Language Models)は、テキスト情報と視覚情報の統合的な理解を必要とするアプリケーションに不可欠である。 本稿では,時間的忠実さを保ちながら,より効率的な長時間ビデオ理解を実現するためのメモリベースの新しいVLMであるReWindを紹介する。 本稿では,視覚的質問応答(VQA)と時間的グラウンド処理におけるReWindの優れた性能を実証的に示す。
  論文  参考訳（メタデータ） (2024-11-23T13:23:22Z)
• Memory-Space Visual Prompting for Efficient Vision-Language Fine-Tuning [59.13366859237086]
  大規模視覚言語(VL)モデルを効率的に構築するための現在のソリューションは、2段階のパラダイムに従う。 視覚情報に関連するタスクに対処する際の言語モデルを容易にする追加知識として視覚的プロンプトを考察する。 本稿では,視覚的知識注入のためのFFNの重み付けにより視覚的プロンプトを記憶する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-09T08:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。