論文の概要: MOSAIC: An Omni-Modal Benchmark for Long-Term Memory and Cross-Modal Reasoning in Conversational Agents
- arxiv url: http://arxiv.org/abs/2610.29249v1
- Date: Wed, 21 Oct 2026 05:55:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.253804
- Title: MOSAIC: An Omni-Modal Benchmark for Long-Term Memory and Cross-Modal Reasoning in Conversational Agents
- Title（参考訳）: MOSAIC:会話エージェントにおける長期記憶とクロスモーダル推論のためのOmni-Modalベンチマーク
- Abstract要約: テキスト, 画像, ビデオ, 音声にまたがる11～24セッションの個人的履歴に関する923の質問のベンチマークであるMOSAICを紹介する。
MOSAICは、装飾メディアではなく、空間的、時間的、韻律的な信号を対象とする。
一致した分解は、表現損失がモダリティに依存しており、ゴールドエビデンスの下でも残留読影が支配的であることを示している。
- 参考スコア（独自算出の注目度）: 60.58507405714888
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Omni-modal assistants must remember not only what users say, but also what they show and convey. Existing long-term memory benchmarks are mostly text-and-image or report a single end-to-end score, so they cannot locate whether evidence is lost when it is represented, retrieved, delivered, or read. We introduce MOSAIC, a benchmark of 923 questions over persona-grounded histories of 11-24 sessions spanning text, image, video, and audio. MOSAIC constructs targeted spatial, temporal, and prosodic signals rather than decorative media, with the strongest causal validation for spatial information and selector-level validation for annotated prosody, and pairs them with a matched diagnostic protocol that freezes the question, reader, prompt, and budget while intervening on representation, retrieval, and delivery. Matched decomposition shows that representation loss is modality-dependent, residual reading dominates even under gold evidence, and abstention remains weak on these controls: strong answerable scores coexist with failures to refuse. MOSAIC thus turns omni-modal memory evaluation from a leaderboard into a diagnosis of write, retrieve, deliver, and read failures.
- Abstract（参考訳）: オムニモダルアシスタントは、ユーザーが何を言っているかだけでなく、何を見せ、伝えるかを記憶しなければならない。
既存の長期メモリベンチマークは、主にテキストとイメージであり、単一のエンドツーエンドスコアを報告しているため、表現、検索、配信、読み取り時に証拠が失われているかどうかを特定できない。
テキスト, 画像, ビデオ, 音声にまたがる11～24セッションの個人的履歴に関する923の質問のベンチマークであるMOSAICを紹介する。
MOSAICは、装飾メディアではなく、ターゲットの空間的、時間的、韻律的な信号を構築し、空間的情報の因果的検証と注釈付き韻律のセレクタレベルの検証を最強とし、表現、検索、配信に介入しながら、質問、読み手、プロンプト、予算を凍結する一致した診断プロトコルと組み合わせる。
一致した分解は、表現損失はモダリティに依存しており、残余の読み取りは金の証拠の下でも支配的であり、禁忌はこれらの制御に弱いままであることを示している。
したがって、MOSAICは、リーダーボードからオールニモーダルメモリ評価を書き込み、検索、配信、障害の診断に変換する。
関連論文リスト
- MINDSET: Energy-based Schema Evolution for Long Conversational Agent Memory [0.0]
有用なメモリシステムは、現在の状態と過去の状態の両方を保存する必要がある。
本稿では,会話を不変のエピソードとして記憶するメモリコントローラMINDSETを紹介する。
再現可能な850の質問に対して,MINDSETを5つのメモリシステムに対して評価した。
論文 参考訳（メタデータ） (2026-10-06T15:55:42Z) - MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。
MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。
長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
論文 参考訳（メタデータ） (2026-07-14T15:33:44Z) - Diagnosing Evidence Utilization in Long-Context and Retrieval-Augmented Language Models under Matched Evidence Conditions [0.0]
モデルはパラメトリックの先行情報から回答したり、存在する証拠を使わなかったり、関連するテキストを最終回答に変換することなく引用したりすることができる。
本稿では,エビデンス利用評価のための4条件診断プロトコルを提案する。
論文 参考訳（メタデータ） (2026-06-04T22:44:57Z) - WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。
既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。
マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
論文 参考訳（メタデータ） (2026-05-28T04:27:20Z) - MemConflict: Evaluating Long-Term Memory Systems Under Memory Conflicts [19.9199366981741]
本稿では,メモリの妥当性をクエリ条件付きフィットネス・フォー・ユース問題として扱う診断フレームワークを提案する。
MemConflictは、時間的妥当性、事実的正確性、文脈的適用性に関する動的、静的、条件的衝突を形式化する。
構造化されたユーザプロファイルから制御されたロングホライズン履歴をシミュレートし、クロスセッションコンフリクトを導入し、セマンティックに類似したイントラクタを注入して、メモリ候補間の競合を発生させる。
論文 参考訳（メタデータ） (2026-05-20T09:11:04Z) - MemEye: A Visual-Centric Evaluation Framework for Multimodal Agent Memory [80.97855900579512]
既存の評価では、エージェントが後続の推論に必要な視覚的証拠を保存するかどうかを検査することはめったにない。
メモリ性能を2次元から評価するフレームワークであるMemEyeを紹介する。
本フレームワークでは,8つのライフシナリオタスクにまたがる新しいベンチマークを構築した。
論文 参考訳（メタデータ） (2026-05-14T17:37:52Z) - ReasonAudio: A Benchmark for Evaluating Reasoning Beyond Matching in Text-Audio Retrieval [9.400944614656735]
ReasonAudioはText-Audio Retrievalの最初の推論集約型ベンチマークである。
1000のクエリと10,000の合成オーディオクリップからなり、ネゲーション、オーダー、オーバーラップ、デュレーション、ミックスの5つの基本的な推論タスクにまたがる。
我々の10種類の最先端モデルに対する評価では、以下の結果が示される: すべてのモデルは、推論集約的な音声検索に苦慮する。
論文 参考訳（メタデータ） (2026-05-05T04:44:51Z) - EMemBench: Interactive Benchmarking of Episodic Memory for VLM Agents [52.567469286881426]
本稿では,対話型ゲームによるエージェントの長期記憶評価のためのプログラムベンチマークEMemBenchを紹介する。
固定された質問セットを使う代わりに、EMemBenchは各エージェント自身の軌道から質問を生成する。
各テンプレートは、下層のゲーム信号から検証済みの真理を計算する。
論文 参考訳（メタデータ） (2026-01-23T12:09:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。