論文の概要: DialogMem: Evaluating Dialogue-Grounded Embodied Memory in 3D Environments
- arxiv url: http://arxiv.org/abs/2610.24767v1
- Date: Sat, 17 Oct 2026 16:19:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-22 16:23:04.718529
- Title: DialogMem: Evaluating Dialogue-Grounded Embodied Memory in 3D Environments
- Title（参考訳）: DialogMem:3次元環境における対話周囲の身体的記憶の評価
- Abstract要約: 人間中心の環境での身体的エージェントは、観察するものと人間が時間をかけて伝えるものを統合するメモリを必要とする。
DialogMemは、エージェントがRGB-D観測と対話のタイムアラインストリームからメモリを構築するベンチマークである。
メモリ生成,エビデンス検索,タスク出力の推論という統合された枠組みの中で,9つのメモリ表現を評価する。
- 参考スコア（独自算出の注目度）: 18.508606259363678
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Embodied agents in human-centered environments require memory that integrates what they observe with what humans tell them over time. However, existing embodied memories are built primarily from visual experience, leaving open how dialogue with humans can be grounded in the objects encountered throughout that experience. We introduce DialogMem, a two-phase benchmark in which agents build memory from time-aligned streams of posed RGB-D observations and dialogue, and later use it for instance-level object navigation and question answering (QA). DialogMem provides 142 episodes across 27 real-world 3D scenes, with 14,193 QA pairs and 11,890 navigation instructions. We evaluate nine memory representations within a unified framework of memory formation, evidence retrieval, and reasoning for task outputs. In experiments, appending dialogue to visual memory at evaluation time substantially improves QA but yields negligible navigation gains, suggesting that relevant dialogue is present in memory but not grounded to specific objects. Controlled diagnostics show that navigation improves with link quality but falls short of ground-truth object-level memory even under perfect linking. Retrieving the correct object entry and recovering its spatial location remain further bottlenecks. These results identify three bottlenecks for dialogue-grounded embodied memory: grounding and organizing dialogue at object-level entries during formation, retrieving the correct entry, and localizing it accurately.
- Abstract（参考訳）: 人間中心の環境での身体的エージェントは、観察するものと人間が時間をかけて伝えるものを統合するメモリを必要とする。
しかし、既存の具体的記憶は主に視覚的体験から構築され、その体験を通して遭遇した物体に人間との対話がどのように基盤を置けるかが残されている。
エージェントはRGB-D観測と対話の時系列ストリームからメモリを構築するための2段階のベンチマークであるDialogMemを導入し、後にインスタンスレベルのオブジェクトナビゲーションと質問応答(QA)に使用する。
DialogMemは、27の現実世界の3Dシーンに142のエピソードを提供し、14,193のQAペアと11,890のナビゲーション命令がある。
メモリ生成,エビデンス検索,タスク出力の推論という統合された枠組みの中で,9つのメモリ表現を評価する。
実験では、評価時の視覚的メモリへの対話はQAを大幅に改善するが、ナビゲーションゲインは無視される。
制御された診断では、ナビゲーションはリンク品質によって改善されるが、完全なリンク下であっても、地平線のオブジェクトレベルのメモリは不足している。
正しいオブジェクトのエントリを取得し、その空間的位置を回復することは、さらにボトルネックとなる。
これらの結果から,対話型エンボディードメモリの3つのボトルネックが明らかになった。
関連論文リスト
- Event-Centric Memory with Query-Aware Graph Augmentation for Long-Term Conversational Agents [51.804747364500344]
本稿では,人間の記憶を動機とした新しいメモリ構築とアクティベーションフレームワークQGMemを提案する。
QGMemは、長い対話履歴を個々の体験を保存するイベントインデックス化された原子記憶ユニットに変換する。
検索,マルチホップエビデンス構成,コンフリクト解決,コンパクトな文脈による超長文対話推論において,一貫した利得を示す。
論文 参考訳（メタデータ） (2026-10-08T13:17:59Z) - Have I Scene This Before? Spatially Grounded Conversational Memory for Complex Queries in Egocentric Assistants [19.48482438272428]
我々はこの課題を空間的基盤を持つ会話推論(SpaCR)として定式化する。
SpaCR: ユーザ統計事実とエビデンスを組み合わせた、クロスシーン、リコール指向、および反ファクト空間クエリ。
本研究では,3次元再構成とセグメンテーションを用いたオブジェクト中心の作業メモリである空間基底型会話メモリ(SpaC-MEM)を提案する。
論文 参考訳（メタデータ） (2026-10-04T20:42:29Z) - Beyond Episodic Evaluation: Memory Architectural Bottlenecks in Sequential Embodied Question Answering [93.80043825360514]
EQA(Embodied Question answering)は、伝統的にエピソードの定式化の下で評価され、エージェントは各タスクを独立して解決し、エピソード間の内部状態をリセットする。
EQAエージェントを逐次評価する際に異なるメモリアーキテクチャがどのように振る舞うかを検討する。
既存のメモリを単純に保存することは、しばしば不十分である。
連続したシーン表現の視覚的意味的証拠を3次元幾何学にマッピングするアーキテクチャについて, 構造的, 空間的基盤的記憶の必要性を強調した。
論文 参考訳（メタデータ） (2026-07-23T17:50:45Z) - From Passive Retrieval to Active Memory Navigation: Learning to Use Memory as a Structured Action Space [27.456426188493094]
NapMemは、ユーザ履歴をリンクされた多粒度メモリピラミッドにまとめる。
エージェントはクエリと中間的なエビデンスに従ってメモリを選択するように訓練される。
論文 参考訳（メタデータ） (2026-07-07T03:47:12Z) - SuperMemory-VQA: An Egocentric Visual Question-Answering Benchmark for Long-Horizon Memory [14.96864764261795]
SuperMemory-VQAは、実用的な長期記憶タスクでAIアシスタントを評価するデータセットである。
これには、同期RGBビデオ、音声の書き起こし、視線、IMU、SLAMトラジェクトリなど、AIメガネで記録された日常的な活動の52.9時間が含まれている。
対象と位置記憶,意図的リコール,視覚的シーンリコール,タイムライン再構築,会話記憶,コンテキスト内検索にまたがる4,853の質問応答対を構築した。
論文 参考訳（メタデータ） (2026-05-30T17:53:10Z) - Memory Shot for Long-Term Dialogue [27.934717347947352]
本稿では,局所的な連続的な対話を構造化された視覚記憶ユニットに展開するMemShotを提案する。
MemShotはLoCoMoとLongMemEvalの両方で安定かつ競争的なパフォーマンスを達成する。
さらなる分析により、MemShotは歴史的証拠の局所化と活用を促進することが明らかとなった。
論文 参考訳（メタデータ） (2026-05-30T01:59:52Z) - AdaMem: Adaptive User-Centric Memory for Long-Horizon Dialogue Agents [49.63422082885992]
長軸対話エージェントのための適応型ユーザ中心メモリフレームワークであるAdaMemを提案する。
AdaMemは対話履歴をワーキング、エピソディック、ペルソナ、グラフメモリに整理する。
LoCoMo と PERSONAMEM ベンチマーク上での AdaMem の評価を行った。
論文 参考訳（メタデータ） (2026-03-17T13:22:54Z) - TraceMem: Weaving Narrative Memory Schemata from User Conversational Traces [9.654990538033362]
長期的な相互作用を維持することは、大規模言語モデルにとって依然としてボトルネックである。
ユーザの会話トレースから構造化された物語記憶スキーマを織り込むフレームワークであるTraceMemを提案する。
TraceMemは、ブレインインスパイアされたアーキテクチャで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-02-10T12:14:58Z) - EMemBench: Interactive Benchmarking of Episodic Memory for VLM Agents [52.567469286881426]
本稿では,対話型ゲームによるエージェントの長期記憶評価のためのプログラムベンチマークEMemBenchを紹介する。
固定された質問セットを使う代わりに、EMemBenchは各エージェント自身の軌道から質問を生成する。
各テンプレートは、下層のゲーム信号から検証済みの真理を計算する。
論文 参考訳（メタデータ） (2026-01-23T12:09:59Z) - Beyond Dialogue Time: Temporal Semantic Memory for Personalized LLM Agents [68.84161689205779]
テンポラルセマンティックメモリ(TSM)は、ポイントワイドメモリのセマンティックタイムをモデル化するメモリフレームワークである。
TSMは既存の手法を一貫して上回り、最大12.2%の精度向上を実現している。
論文 参考訳（メタデータ） (2026-01-12T12:24:44Z) - Evaluating Long-Term Memory for Long-Context Question Answering [100.1267054069757]
質問応答タスクにアノテートした合成長文対話のベンチマークであるLoCoMoを用いて,メモリ拡張手法の体系的評価を行う。
以上の結果から,メモリ拡張アプローチによりトークン使用率が90%以上削減され,競争精度が向上した。
論文 参考訳（メタデータ） (2025-10-27T18:03:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。