論文の概要: Good Memory Has ECC: Evaluating the Memory of Vision-Language Models Beyond Accuracy

• arxiv url: http://arxiv.org/abs/2609.00103v1
• Date: Mon, 31 Aug 2026 17:05:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:35.87805
• Title: Good Memory Has ECC: Evaluating the Memory of Vision-Language Models Beyond Accuracy
• Title（参考訳）: Good Memory with ECC: 正確性を超えたビジョンランゲージモデルのメモリ評価
• Abstract要約: 本稿では,システムの容量を超えるメモリを測定するベンチマークおよび評価プロトコルであるECCBenchを紹介する。 トレーニング済みのVLMは、ビデオではなくテキストでメモリを圧縮し、双方で校正が不十分であることがわかった。 幅広いメモリバックボーンのセットの中で、いくつかの非トランスフォーマーアーキテクチャは、RoPEトランスフォーマーよりも圧縮校正トレードオフが優れている。
• 参考スコア（独自算出の注目度）: 16.8649897490975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memory is widely viewed as an important unsolved problem for LLMs and VLMs, and current benchmarks typically evaluate it by testing accuracy over long text or video. However, accuracy alone misses properties that matter for real long-horizon tasks. We introduce ECCBench, a benchmark and evaluation protocol that measures memory beyond a system's capacity--its raw accuracy at a specific budget--via three axes we call ECC: efficiency--the computation, in FLOPs, needed to answer from memory; compression--whether compressible inputs are remembered more accurately or efficiently; and calibration--whether the system abstains in response to its own uncertainty and the cost of an error. We find that pretrained VLMs compress their memory over text but not video and are poorly calibrated on both. Among a broader set of memory backbones, several non-Transformer architectures achieve better compression-calibration tradeoffs than RoPE Transformers, suggesting they may be useful components for agents operating over long horizons.
• Abstract（参考訳）: メモリはLLMやVLMにとって重要な未解決問題として広く見なされており、現在のベンチマークは通常、長いテキストやビデオの精度をテストすることによってそれを評価している。 しかし、精度だけでは、真の長距離タスクにとって重要な特性を見逃している。 計算効率-FLOPでは、メモリからの応答に必要となる計算効率-圧縮-圧縮-圧縮-圧縮がより正確にあるいは効率的に記憶されるか、システム自体の不確実性やエラーのコストに応答して停止するかどうか、キャリブレーション-- という3つの軸によって、システムのキャパシティを超えてメモリを計測するベンチマークおよび評価プロトコルであるECCBenchを紹介します。 トレーニング済みのVLMは、ビデオではなくテキストでメモリを圧縮し、双方で校正が不十分であることがわかった。 幅広いメモリバックボーンのセットの中で、いくつかの非トランスフォーマーアーキテクチャは、RoPEトランスフォーマーよりも圧縮校正トレードオフが優れている。

関連論文リスト

• Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents [97.19033877543522]
  本稿では,メモリ拡張剤のメモリ基板の制御ハーネス評価について述べる。 統一されたハーネスの下で26のパフォーマンスと効率のメトリクスを計測する。 これらの知見は、アダプティブエージェントメモリシステムに必要なコンポーネントとして、基質ルーティングを動機付けている。
  論文  参考訳（メタデータ） (2026-08-15T03:29:48Z)
• Is One Score Enough? Rethinking the Evaluation of Sequentially Evolving LLM Memory [50.857546269660276]
  本稿では,大規模言語モデル(LLM)メモリを逐次進化させる診断評価フレームワークであるSeqMem-Evalを紹介する。 最終的なパフォーマンスのみに焦点を当てるのではなく、SeqMem-Evalは、シーケンシャル推論において、メモリ状態がどのように進化し、一般化し、エクスペリエンスを集約し、有用な情報を保持するかを評価する。
  論文  参考訳（メタデータ） (2026-05-14T20:15:22Z)
• RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies [54.23445842621374]
  記憶は、長い水平と歴史に依存したロボット操作にとって重要である。 近年,視覚言語アクション(VLA)モデルにメモリ機構が組み込まれ始めている。 本稿では,VLAモデルの評価と進展のための大規模標準ベンチマークであるRoboMMEを紹介する。
  論文  参考訳（メタデータ） (2026-03-04T21:59:32Z)
• Memory Caching: RNNs with Growing Memory [56.25483647131372]
  メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。 我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。 その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2026-02-27T18:53:41Z)
• NextMem: Towards Latent Factual Memory for LLM-based Agents [58.35585202907478]
  NextMemは、自動回帰型オートエンコーダを使用して、潜時メモリを効率的に構築する、潜時ファクトメモリフレームワークである。 大規模な実験は、NextMemが優れたパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2026-02-26T14:35:27Z)
• ARKV: Adaptive and Resource-Efficient KV Cache Management under Limited Memory Budget for Long-Context Inference in LLMs [1.1267872663780352]
  大規模言語モデル(LLM)は、超長期のコンテキスト推論を必要とするシナリオにますますデプロイされている。 既存のメモリ削減技術、例えば消去や量子化は、しばしば静的キャッシュに依存している。 キャッシュされたトークンに精度レベルを動的に割り当てる軽量で適応的なフレームワークARKVを提案する。
  論文  参考訳（メタデータ） (2026-02-19T16:24:08Z)
• CroBIM-V: Memory-Quality Controlled Remote Sensing Referring Video Object Segmentation [0.3099118620919279]
  本稿では、データと方法論の二重貢献を通してRS-RVOSの研究を進める。 まず,111の動画シーケンス,約25,000のフレーム,213,000の時間参照アノテーションからなる最初の大規模ベンチマークであるRS-RVOS Benchを構築した。 第2に、セグメンテーションモデル(MQC-SAM)を用いたメモリ品質制御と呼ばれる、メモリ品質を考慮したオンライン参照セグメンテーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-17T14:52:46Z)
• Accurate Block Quantization in LLMs with Outliers [0.6138671548064355]
  極大規模LLMの推理需要はここ数カ月で大きく伸びている。 この問題は処理中のシーケンスの長さが爆発的に増加することで増大する。 重みとアクティベーションの両方の正確な量子化を可能にする様々な量子化技術が提案されている。
  論文  参考訳（メタデータ） (2024-03-29T12:15:06Z)
• Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
  一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。 本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。 また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
  論文  参考訳（メタデータ） (2022-05-08T02:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。