論文の概要: MemAct: Streaming Spatial Understanding with Memory and Active Exploration

• arxiv url: http://arxiv.org/abs/2610.17640v1
• Date: Tue, 13 Oct 2026 03:08:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 18:02:00.01673
• Title: MemAct: Streaming Spatial Understanding with Memory and Active Exploration
• Title（参考訳）: MemAct: メモリとアクティブ探索による空間理解のストリーミング
• Abstract要約: 我々はメモリとアクションで空間的理解をストリーミングするフレームワークであるMemActを紹介する。 共有視覚言語モデルは、構造化された履歴記憶を段階的に書き、必要に応じて記録と過去のフレームを検索し、移動と回転を通じて追加の証拠を取得する。 MemAct-benchは2万の主要なQAペアで構成され、現在の観測の理解、歴史的証拠の使用、活発な探査を評価する。
• 参考スコア（独自算出の注目度）: 41.278682336342165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatial understanding is essential for embodied agents navigating and interacting with the physical world. As observations arrive incrementally, agents must reason in a streaming manner. Yet streaming understanding must also be closed-loop: task-relevant evidence may require both recalling past observations and actively acquiring new views. Existing streaming approaches largely emphasize processing incoming observations, leaving task-driven active exploration underexplored. We introduce MemAct, a framework for streaming spatial understanding with memory and action. A shared vision--language model incrementally writes structured historical memory, retrieves records and past frames on demand, and acquires additional evidence through movement and turning. Retrieved evidence and action observations inform subsequent decisions, enabling the agent to continue exploring or answer within a unified reasoning loop. We develop the MemAct suite, a data generation pipeline and collection across real and simulated environments, with approximately 1M training examples for spatial reasoning, memory writing, retrieval, and exploration. Its MemAct-bench comprises 20,000 main QA pairs evaluating current-observation understanding, historical evidence use, and active exploration, plus 2,000 separate Timing questions. MemAct combines supervised fine-tuning for memory and interaction with counterfactual action optimization using cumulative evidence gains, action costs, and terminal answer quality to improve exploration and stopping decisions. Experiments show that MemAct outperforms existing spatial understanding and streaming baselines and approaches frontier multimodal models on MemAct-bench while retaining streaming inference efficiency.
• Abstract（参考訳）: 空間的理解は、物理的な世界をナビゲートし、相互作用するエンボディエージェントにとって不可欠である。 観測が徐々に到着するにつれて、エージェントはストリーミング方式で推論しなければならない。 しかし、ストリーミング理解もまたクローズループでなければならない。タスク関連エビデンスには、過去の観察をリコールすることと、積極的に新しいビューを取得することの両方が必要である。 既存のストリーミングアプローチは、入ってくる観測の処理に重点を置いており、タスク駆動の活発な探索が過小評価されている。 我々はメモリとアクションで空間的理解をストリーミングするフレームワークであるMemActを紹介する。 共有視覚言語モデルは、構造化された履歴記憶を段階的に書き、必要に応じて記録と過去のフレームを検索し、移動と回転を通じて追加の証拠を取得する。 回収された証拠と行動観察はその後の決定を知らせ、エージェントは統一された推論ループ内で探索または回答を続けることができる。 我々は,空間推論,メモリ書き込み,検索,探索のための約100万のトレーニング例を用いて,実環境とシミュレーション環境をまたいだデータ生成パイプラインであるMemActスイートを開発した。 MemAct-benchは2万の主要なQAペアで構成されており、現在観測されている理解、歴史的証拠の使用、活発な調査、2000のTiming質問が評価されている。 MemActは、メモリの教師付き微調整と、累積的エビデンスゲイン、アクションコスト、ターミナル応答品質を用いた対実的アクション最適化との相互作用を組み合わせることで、探索と決定の停止を改善する。 実験の結果、MemActは既存の空間的理解やストリーミングベースラインよりも優れており、ストリーミング推論効率を維持しつつ、MemAct-bench上のフロンティアマルチモーダルモデルにアプローチしていることがわかった。

関連論文リスト

• Memory Control Signals Emerge Before Action in Long Horizon Agents [55.84813053778976]
  各エージェントアクションの直前に隠された状態を調べ、圧縮とリコールの要求がモデルの内部表現にすでにエンコードされていることを確認する。 本研究では,状態誘導圧縮と外部エビデンス検索を組み合わせたPreaction Memory with Evidence Retrieval (PaMER)を提案する。
  論文  参考訳（メタデータ） (2026-09-23T03:23:34Z)
• Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding [64.34948094316685]
  latentStreamは、ストリーミングメモリをストア・アンド・レトリーブから検索・インターナライズへシフトする、プログレッシブな潜伏型ワーキングメモリフレームワークです。 LatentStreamは、既存のオンラインおよびオフラインビデオベンチマークで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2026-09-03T17:28:14Z)
• ActMem: Bridging the Gap Between Memory Retrieval and Reasoning in LLM Agents [14.695250837875454]
  本稿では,ActMemと呼ばれる新しい動作可能なメモリフレームワークを提案する。 ActMemは非構造化対話履歴を構造化因果グラフと意味グラフに変換する。 エージェントは暗黙の制約を推論し、過去の状態と現在の意図の間の潜在的な衝突を解決することができる。
  論文  参考訳（メタデータ） (2026-02-04T00:54:53Z)
• Explore with Long-term Memory: A Benchmark and Multimodal LLM-based Reinforcement Learning Framework for Embodied Exploration [52.35887679314727]
  長期記憶身体探索は、エージェントの探索的認知と意思決定行動を統合することを目的としている。 エージェントのメモリリコールとプロアクティブな探索能力を高めるため,我々はMemoryExplorerを提案する。
  論文  参考訳（メタデータ） (2026-01-11T16:23:22Z)
• Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory [89.65731902036669]
  Evo-Memoryは、大規模言語モデル(LLM)エージェントで自己進化型メモリを評価するための、ストリーミングベンチマークとフレームワークである。 10以上の代表的なメモリモジュールを評価し、10種類の多ターンゴール指向およびシングルターン推論およびQAデータセットで評価した。
  論文  参考訳（メタデータ） (2025-11-25T21:08:07Z)
• StreamAgent: Towards Anticipatory Agents for Streaming Video Understanding [52.55809460075286]
  本稿では,今後のタスク関連情報を含むと思われる時間間隔と空間領域を予測できるStreamAgentを提案する。 我々は,重要な出来事の時間的進行を予測するために,予測エージェントに期待を促すことによって,質問の意味論と歴史的観察を統合する。 提案手法は,応答精度とリアルタイム効率において既存の手法よりも優れており,実世界のストリーミングシナリオの実用的価値を強調している。
  論文  参考訳（メタデータ） (2025-08-03T18:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。