論文の概要: Beyond Success Rate: Interventional Evaluation of Memory in Vision-Language-Action Systems

• arxiv url: http://arxiv.org/abs/2610.23372v1
• Date: Fri, 16 Oct 2026 12:23:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.911963
• Title: Beyond Success Rate: Interventional Evaluation of Memory in Vision-Language-Action Systems
• Title（参考訳）: 成功率を超える:ビジョンランゲージ・アクションシステムにおけるメモリのインターベンショナル評価
• Abstract要約: 視覚言語アクション(VLA)システムのためのインターベンショナルメモリ評価プロトコル(IMEP)を提案する。 我々は, エピソード内, クロスエピソード, エージェントメモリを評価した。 正確な履歴はロボットの意思決定を支援することができるが、メモリシステムがこの利点を実現するかどうかを確かめるには、事実に固有の証拠が必要である。
• 参考スコア（独自算出の注目度）: 8.809605780935982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When we say that a robot uses memory, does that memory actually play a role? Success-rate ablations alone cannot establish the use of task-relevant facts: they change information and computation together, while aggregate rates can hide offsetting gains and losses. We propose an Interventional Memory Evaluation Protocol (IMEP) for vision-language-action (VLA) systems to address four questions: (1) Does memory provide a net benefit? (2) Under what conditions does memory help? (3) Do changes to memory alter task outcomes? (4) Are these effects specific to task-relevant facts? At the retrieval interface, we compare target-fact substitutions with fact-preserving replacements, minimal numerical perturbations, and exact replicas, while assessing decision correctness separately from motor execution success. We evaluate within-episode, cross-episode, and agentic memory. In cross-episode learned-bank experiments, a one-unit-in-the-last-place (ULP) intervention, including its installation procedure, changes 11.9% of seed-paired outcomes, while changing key facts produces no clear additional effect over fact-preserving replacements. To examine when memory helps, we introduce ChainBench, where correct decisions require historical information unavailable in current observations. The full memory configuration raises task success from 39.1% to 74.3%, matching the oracle-decision condition under shared recorded executions. These results show that correct history can support robot decisions, but establishing whether a memory system realizes this benefit requires fact-specific evidence beyond aggregate success rates.
• Abstract（参考訳）: ロボットがメモリを使うと言うと、その記憶が実際に役割を担っているのだろうか? 成功率の短縮だけでは、情報と計算を一緒に変更し、アグリゲーションレートは相殺的な利得と損失を隠すことができる。 視覚言語アクション (VLA) システムのためのインターベンショナルメモリ評価プロトコル (IMEP) を提案する。 (2)メモリはどんな条件で役立ちますか? (3)記憶の変化はタスクの結果を変えるか? (4)これらの効果は課題関連事実に特有か? 検索インタフェースでは、目標物置換と事実保存代替品、最小数値摂動、正確なレプリカを比較し、モータ実行の成功とは別個の決定正しさを評価する。 我々は, エピソード内, クロスエピソード, エージェントメモリを評価した。 学際的な学習バンク実験では、インストール手順を含む一単位ラストプレース(ULP)の介入は、シードペアの結果の11.9%を変え、重要な事実の変更は、ファクト保存の代替よりも明確な追加効果を与えない。 メモリがいつ役立つかを調べるために,現在の観測では利用できない歴史的情報を必要とするChainBenchを紹介した。 完全なメモリ構成はタスク成功率を39.1%から74.3%に引き上げ、共有記録実行時のオラクル判定条件と一致する。 これらの結果から, 正史はロボットの意思決定を支援することができるが, メモリシステムがこの利点を認識しているかどうかを確かめるには, 総合的な成功率を超える事実特異的な証拠が必要であることが示唆された。

関連論文リスト

• Causal Memory Policy: Making Memory Utility Identifiable by Intervening on Retrieval [29.12751904333385]
  メモリが取得されない場合、ストアレベルの介入は同じ結果をもたらし、そのユーティリティは未確認のままである。 本稿では,検索自体に介入することで識別を復元する因果的枠組みである因果記憶ポリシー(CMP)を紹介する。 CMPは、バランスの取れた割り当て設計の下で、自己正規化逆確率重み付けによりメモリユーティリティを推定する。
  論文  参考訳（メタデータ） (2026-10-01T17:11:25Z)
• Memory That Changes Action Is Not Memory That Guides It: Counterfactual Auditing of History-Conditioned Robot Policies [15.339579037728901]
  ロボットは、2つのタスク一貫性のある過去に遭遇し、同じ入力に再収束するが、異なる動作を保証できる。 本稿では,2つの履歴を相互に横断するメモリ・ポリティクス評価プロトコルを提案する。 ロボットは、記憶を用いて過去の保証事項を確実に選択することなく、記憶と反応が可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-23T02:31:53Z)
• VibeMemBench: Evaluating Memory Systems for Coding Agents on Real Repository Coding Tasks [74.71365175490853]
  我々は90のSWE-rebench V2レポジトリから111のコーディングターゲットのメモリシステムを評価するベンチマークであるVibeMemBenchを紹介する。 ターゲットはSWEベンチマークスタイルに従い、バグ修正、機能要求、インターフェースの変更、設定作業をカバーする。 ダイレクトインジェクションは、4つのタスクの解像度を1.1から4.5ポイント引き上げ、エージェントステップを5つに下げる。しかし、4つの既存のメモリシステムが同じ履歴から経験を構築・取得しなければならない場合、12のソルバのうち11のシステムペアリングは一致したメモリオフベースラインを超えない。
  論文  参考訳（メタデータ） (2026-09-20T11:44:03Z)
• MEMORA: Embodied Action Memory from Egocentric Videos for Reasoning and Planning [27.103249755262212]
  ロングホライズンロボットの計画には、将来の目標を解釈可能な具体的体験の記憶が必要である。 私たちは、Embodied Action Memory(EAM)を、後の決定のために永続的なメモリ状態として、そのエクスペリエンスを形成、維持、使用する能力として定式化します。 MEMORAは, 生成・統合・検索ライフサイクルと4つの型付きストアでEMAを実現する。
  論文  参考訳（メタデータ） (2026-07-15T18:12:28Z)
• Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
  大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。 メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
  論文  参考訳（メタデータ） (2026-07-15T08:32:40Z)
• MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
  ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。 MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。 長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
  論文  参考訳（メタデータ） (2026-07-14T15:33:44Z)
• Is One Score Enough? Rethinking the Evaluation of Sequentially Evolving LLM Memory [50.857546269660276]
  本稿では,大規模言語モデル(LLM)メモリを逐次進化させる診断評価フレームワークであるSeqMem-Evalを紹介する。 最終的なパフォーマンスのみに焦点を当てるのではなく、SeqMem-Evalは、シーケンシャル推論において、メモリ状態がどのように進化し、一般化し、エクスペリエンスを集約し、有用な情報を保持するかを評価する。
  論文  参考訳（メタデータ） (2026-05-14T20:15:22Z)
• RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies [54.23445842621374]
  記憶は、長い水平と歴史に依存したロボット操作にとって重要である。 近年,視覚言語アクション(VLA)モデルにメモリ機構が組み込まれ始めている。 本稿では,VLAモデルの評価と進展のための大規模標準ベンチマークであるRoboMMEを紹介する。
  論文  参考訳（メタデータ） (2026-03-04T21:59:32Z)
• RMBench: Memory-Dependent Robotic Manipulation Benchmark with Insights into Policy Design [77.30163153176954]
  RMBenchは、メモリの複雑さの複数のレベルにまたがる9つの操作タスクからなるシミュレーションベンチマークである。 Mem-0は、制御アブレーション研究をサポートするために設計された明示的なメモリコンポーネントを備えたモジュラー操作ポリシーである。 既存のポリシにおけるメモリ関連の制限を特定し、アーキテクチャ設計の選択がメモリパフォーマンスに与える影響に関する実証的な洞察を提供する。
  論文  参考訳（メタデータ） (2026-03-01T18:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。