論文の概要: CapMem: A Benchmark for Caption-Based Episodic Memory in Egocentric Video

• arxiv url: http://arxiv.org/abs/2609.17688v1
• Date: Tue, 15 Sep 2026 18:03:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.488594
• Title: CapMem: A Benchmark for Caption-Based Episodic Memory in Egocentric Video
• Title（参考訳）: CapMem:エゴセントリックビデオにおけるキャプションベースのエピソードメモリのベンチマーク
• Abstract要約: ウェアラブルアシスタントは、エゴセントリックなビデオよりもエピソードな記憶を必要とする。 現在のヴィジュアルトーケンモデルは、バウンドフレーム予算、視覚言語コストの増加、長文検索の失敗に直面している。 本研究は,テキストキャプションが再利用可能なエピソード記憶として機能するかどうかを考察する。
• 参考スコア（独自算出の注目度）: 14.504222042982962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Wearable assistants require episodic memory over egocentric video, yet current vision-language models face bounded frame budgets, growing visual-token costs, and long-context retrieval failures. Under these practical constraints, we study whether textual captions can serve as reusable episodic memory. We define the Episodic Memory Video Caption QA task and introduce CapMem, a human-annotated benchmark with 75 videos totaling 33.7 hours, and 1,000 multiple-choice questions across 16 scenarios. On long videos (>20 min), full-coverage CaptionQA with 30s and 60s caption windows outperforms direct VideoQA for 10/12 and 8/12 models, respectively. On the same video subset, a matched-frame control across six Qwen models retains mean accuracy gains of 3.22 and 2.55 points, respectively. Our caption-guided retrieve-and-verify harness further improves accuracy by up to 5.3 points. These results support the effectiveness of caption memory for episodic reasoning over long egocentric video.
• Abstract（参考訳）: ウェアラブルアシスタントは、エゴセントリックなビデオよりもエピソードメモリを必要とするが、現在のビジョン言語モデルは、バウンドフレームの予算、視覚的トーケンコストの増加、長文検索の失敗に直面している。 これらの実践的制約の下で,テキストキャプションが再利用可能なエピソード記憶として機能するかどうかを検討する。 我々は、エピソードメモリビデオキャプチャQAタスクを定義し、75時間33.7時間、そして16シナリオにわたる1000の多重選択質問を備えた、人間による注釈付きベンチマークであるCapMemを紹介した。 長いビデオ(>20分)では、30sと60sのキャプションウィンドウを持つフルカバーのCaptionQAが、それぞれ10/12モデルと8/12モデルでビデオQAを直接上回っている。 同じビデオサブセットでは、6つのQwenモデルにマッチしたフレーム制御が平均精度3.22点と2.55点をそれぞれ保持している。 キャプション誘導型検索・検証ハーネスの精度は最大5.3ポイント向上した。 これらの結果は,長時間の自我中心ビデオにおけるエピソード推論におけるキャプションメモリの有効性を裏付けるものである。

関連論文リスト

• MemoryCard: Topic-Aware Multi-Modal Clue Compression for Long-Video Question Answering [54.54526361917178]
  MemoryCardは長いビデオを自己完結型メモリカードに整理する。 その結果、MemoryCardは、同等の視覚的な予算の下で、長時間ビデオのQAパフォーマンスを継続的に改善することを示した。
  論文  参考訳（メタデータ） (2026-06-04T09:23:31Z)
• AuroraCap: Efficient, Performant Video Detailed Captioning and a New Benchmark [89.73538448786405]
  大規模なマルチモーダルモデルに基づくビデオキャプタであるAuroraCapを提案する。 トークンマージ戦略を実装し、入力されたビジュアルトークンの数を減らす。 AuroraCapは、様々なビデオおよび画像キャプションベンチマークで優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-10-04T00:13:54Z)
• VideoLLaMB: Long Streaming Video Understanding with Recurrent Memory Bridges [39.666361965650836]
  VideoLLaMBは、長いビデオ理解のためのフレームワークである。 SceneTilingアルゴリズムは、ビデオをコヒーレントなセマンティックユニットに分割する。 VideoLLaMBは1つのNvidia A100 GPUを使用して最大320フレームを処理する。
  論文  参考訳（メタデータ） (2024-09-02T08:52:58Z)
• Vript: A Video Is Worth Thousands of Words [54.815686588378156]
  Vriptは12Kの高解像度ビデオの注釈付きコーパスで、420Kのクリップで詳細な、密度の高い、スクリプトのようなキャプションを提供する。 各クリップには145ワードのキャプションがあり、ほとんどのビデオテキストデータセットの10倍以上の長さである。 Vriptは、長いビデオのための高密度で詳細なキャプションをエンドツーエンドに生成できる強力なモデルである。
  論文  参考訳（メタデータ） (2024-06-10T06:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。