論文の概要: SE-Mem: Semantic-Episodic Memory for Scene-Consistent Generative View Synthesis

• arxiv url: http://arxiv.org/abs/2611.00658v1
• Date: Sat, 31 Oct 2026 05:41:10 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:04:32.878834
• Title: SE-Mem: Semantic-Episodic Memory for Scene-Consistent Generative View Synthesis
• Title（参考訳）: SE-Mem:Scene-Consistent Generative View Synthesisのためのセマンティック・エポソディックメモリ
• Abstract要約: 生成的ビュー合成は、ユーザが定義したカメラ軌跡に沿った参照観察から新規ビュービデオを合成することを目的としている。 既存のアプローチでは、通常、カメラのポーズのみに基づいて参照フレームを選択し、コンテンツが意味論的に関連付けられているか、あるいは見えているかを見落としている。 セマンティック・エポソディック・メモリのフレームワークであるSE-Memを導入し、構造化された3次元表現における歴史的観察を整理し、その要素を意味的重要度スコアで拡張する。
• 参考スコア（独自算出の注目度）: 38.00010950017275
• License:
• Abstract: Generative view synthesis aims to synthesize novel-view videos from reference observations along user-defined camera trajectories. Maintaining global scene consistency throughout this process remains challenging for camera-conditioned interactive video generators. Existing approaches typically select reference frames based solely on camera poses, overlooking whether the content remains semantically relevant or even visible. To address these limitations, we draw inspiration from semantic and episodic memory in human cognition, in which semantic memory captures generalized knowledge across experiences, whereas episodic memory preserves information tied to specific past events and contexts. Motivated by the complementary roles of semantic and episodic memory, we introduce SE-Mem, a Semantic-Episodic Memory framework that organizes historical observations in a structured 3D representation and augments its elements with semantic importance scores. A two-stage memory retrieval strategy is designed to identify the most informative frames to provide contextual guidance. Taking into account both semantic significance and geometric visibility, SE-Mem preserves semantic coherence and fine-grained visual details during novel view synthesis. Extensive evaluations show that our approach improves visual quality and achieves competitive geometric consistency across multiple benchmarks.
• Abstract（参考訳）: 生成的ビュー合成は、ユーザが定義したカメラ軌跡に沿った参照観察から新規ビュービデオを合成することを目的としている。 このプロセスを通してグローバルなシーンの一貫性を維持することは、カメラコンディショナブルなビデオジェネレータにとって依然として困難である。 既存のアプローチでは、通常、カメラのポーズのみに基づいて参照フレームを選択し、コンテンツが意味論的に関連付けられているか、あるいは見えているかを見落としている。 これらの制限に対処するために、人間の認知における意味記憶とエピソード記憶からインスピレーションを得ており、セマンティック記憶は経験を通して一般化された知識を捉え、一方、エピソード記憶は特定の過去の出来事や文脈に関連付けられた情報を保存している。 セマンティック・エポソディック・メモリ(SE-Mem)は,セマンティック・エポソディック・メモリ(Semantic-Episodic Memory)フレームワークである。 2段階のメモリ検索戦略は、コンテキストガイダンスを提供するための最も情報性の高いフレームを特定するように設計されている。 意味的意義と幾何学的可視性の両方を考慮して、SE-Memは、新しいビュー合成における意味的コヒーレンスときめ細かい視覚的詳細を保存している。 広範に評価した結果,提案手法は視覚的品質を向上し,複数のベンチマークで競合する幾何整合性を実現する。

関連論文リスト

• Weave Forcing: Compositional Memory Routing for Interactive Long Video Generation [20.30930202544057]
  本稿では,対話型長ビデオ生成におけるコンポジションメモリ再利用のためのトレーニングフリーフレームワークであるWeave Forcingを紹介する。 ユーザプロンプトを文字と背景記述に分解するために,LLMを用いてセマンティックスロットルーティングを行う。 また,非,部分的,あるいは全参照カバレッジに応じて,時間的オフセットとメモリ保持を調整するために,カバレッジ適応型RoPEを導入する。
  論文  参考訳（メタデータ） (2026-10-02T16:04:26Z)
• The Past Frames the Future: Memory for Autoregressive Video Generation [180.54347159008623]
  本稿では,ARビデオ生成における記憶機構の体系的,包括的レビューを行う。 我々は、外部ARステップにまたがる永続的な履歴情報として、メモリを運用的に定式化する。 本稿では,信頼性の高いメモリ条件のビデオ生成システムを構築するための構造的基盤を確立する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:52Z)
• Memento: Reconstruct to Remember for Consistent Long Video Generation [33.84564823908538]
  ロングフォームビデオ生成は、様々なショット、視点、動き、シーン遷移において、連続した被写体を維持する必要がある。 メトンは、被写体保存を明示的なアイデンティティ基盤問題として扱う、被写体再構成誘導フレームワークである。 Metonは、長期的な主題整合性、クロスショットコヒーレンス、視覚的品質において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-06-12T17:37:13Z)
• The AI Hippocampus: How Far are We From Human Memory? [77.04745635827278]
  インプリシットメモリは、事前訓練されたトランスフォーマーの内部パラメータに埋め込まれた知識を指す。 明示メモリは、動的でクエリ可能な知識表現でモデル出力を増大させるように設計された外部ストレージと検索コンポーネントを含んでいる。 エージェントメモリは、自律エージェント内に永続的、時間的に拡張されたメモリ構造を導入する。
  論文  参考訳（メタデータ） (2026-01-14T03:24:08Z)
• VideoMemory: Toward Consistent Video Generation via Memory Integration [28.605816634949814]
  VideoMemoryは、Dynamic Memory Bankを通じてナラティブプランニングとビジュアルジェネレーションを統合する。 ダイナミックメモリバンクは、文字、小道具、背景の明示的な視覚的および意味的な記述を格納する。 この検索更新機構は、遠距離ショット間のエンティティの一貫性のある表現を可能にし、コヒーレントなロングフォーム生成をサポートする。
  論文  参考訳（メタデータ） (2026-01-07T07:10:32Z)
• WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
  我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。 WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-12-02T05:14:52Z)
• ID-Composer: Multi-Subject Video Synthesis with Hierarchical Identity Preservation [48.59900036213667]
  大規模なデータセットで事前訓練されたビデオ生成モデルは高品質なビデオを生成することができるが、テキストや単一の画像に条件付けされることも多い。 本稿では,テキストプロンプトと参照画像から多目的映像を生成する新しいフレームワークであるID-Composerを紹介する。
  論文  参考訳（メタデータ） (2025-11-01T11:29:14Z)
• Jointly Visual- and Semantic-Aware Graph Memory Networks for Temporal Sentence Localization in Videos [67.12603318660689]
  階層型ビジュアル・セマンティック・アウェア推論ネットワーク(HVSARN)を提案する。 HVSARNは、オブジェクトレベルからフレームレベルへの視覚的および意味論的クエリ推論を可能にする。 3つのデータセットの実験では、HVSARNが新しい最先端のパフォーマンスを達成することが示されています。
  論文  参考訳（メタデータ） (2023-03-02T08:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。