論文の概要: Engram-E2VID: Reference-Based Event-to-Video Reconstruction via Generative Activation of Appearance Engrams
- arxiv url: http://arxiv.org/abs/2608.05728v1
- Date: Thu, 06 Aug 2026 08:11:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.851476
- Title: Engram-E2VID: Reference-Based Event-to-Video Reconstruction via Generative Activation of Appearance Engrams
- Title（参考訳）: Engram-E2VID:外観図の生成活性化による参照型イベント・ツー・ビデオ再構成
- Abstract要約: 本稿では,ターゲットフレームを生成的アクティベーションにより再構築する構造誘導型フレームワークであるEngram-E2VIDを提案する。
3つのベンチマークで、Engram-E2VIDはPSNRを3.29dBまで改善し、LPIPSを0.08まで下げた。
- 参考スコア（独自算出の注目度）: 32.5131816250745
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reference-based event-to-video reconstruction aims to recover target RGB frames from a reference frame and the event stream captured over the reference-to-target interval. Although events provide fine-grained temporal cues, they encode sparse and asynchronous log-intensity changes rather than absolute appearance, making faithful reconstruction intrinsically challenging. The central challenge lies in associating event-derived target-time structures with relevant appearance information from the reference frame, especially under complex motion and long temporal intervals. In this work, we propose Engram-E2VID, a structure-guided framework that reconstructs target frames through the generative activation of appearance engrams. Specifically, the reference frame is encoded into token-space appearance engrams, while the event stream and reference context are transformed into a target-time motion-structure scaffold that captures motion boundaries and event-induced structural changes. Within a one-step diffusion backbone, scaffold-derived structural tokens progressively interact with and activate relevant appearance engrams across layers. This token-space association allows target structures to access reference appearance without relying on direct pixel-wise correspondence, while the diffusion prior complements uncertain or newly revealed regions. Across three benchmarks, Engram-E2VID improves PSNR by up to 3.29 dB and reduces LPIPS by up to 0.08 over the strongest same-input baseline, while degrading more slowly as the reconstruction interval increases.
- Abstract（参考訳）: 参照ベースのイベント・トゥ・ビデオ再構成は、参照フレームと、参照・ツー・ターゲット間隔でキャプチャされたイベントストリームからターゲットのRGBフレームを復元することを目的としている。
イベントはきめ細かい時間的手がかりを提供するが、絶対的な外観ではなくスパースと非同期な対数強度の変化をエンコードし、本質的に忠実な再構築を困難にしている。
中心的な課題は、特に複雑な動きと長時間の時間間隔の下で、参照フレームから関連する外観情報とイベント由来のターゲットタイム構造を関連付けることである。
本研究では,ターゲットフレームを生成的活性化により再構築する構造誘導型フレームワークであるEngram-E2VIDを提案する。
具体的には、参照フレームをトークン空間の外観エングラムにエンコードし、イベントストリームと参照コンテキストを、動作境界とイベント誘起構造変化をキャプチャする目標時間運動構造足場に変換する。
一段階の拡散バックボーン内では、足場由来の構造トークンが徐々に相互作用し、層をまたいで関連する外観のエングラムを活性化する。
このトークン空間アソシエーションにより、ターゲット構造は直接ピクセルワイド対応に頼ることなく参照外観にアクセスでき、拡散前の領域は不確実または新たに明らかになった領域を補完する。
3つのベンチマークで、Engram-E2VIDはPSNRを最大3.29dB改善し、LPIPSを最大0.08まで下げる。
関連論文リスト
- Enhancing Distance-Based Graph Autoencoders with Structural Penalties for Dynamic Graph Embedding [41.99844472131922]
再建損失に構造的ペナルティを組み込んだ3つの距離ベースGAE変種を提案する。
すべての変種は、2層グラフ畳み込みネットワークエンコーダと、距離ベースの再構成目的で訓練されたユークリッド距離デコーダを共有する。
次数集中度に基づくハブペナルティ(i)Natural Community Local Intrinsic dimensionity(NC-LID)に基づくハブペナルティ(ii)。
論文 参考訳（メタデータ） (2026-08-19T10:13:56Z) - Event3R: Asynchronous-to-Global 3D Reconstruction from Event Camera via Spatial-Temporal Feature Aggregation [15.940571853456198]
Event3Rは非同期イベントストリームをグローバルに一貫した3Dポイントクラウドにマッピングするフィードフォワードフレームワークである。
堅牢で時間的に整合性があり、グローバルに整合した3D再構成を実現し、既存のイベントベースの手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2026-07-17T08:04:43Z) - Closed-Loop Triplet Synergistic Generation for Long-Form Video [61.88597038104749]
CoSyTriGenは、クローズドループビジュアル-テキスト-メモリのシナジープロセスとしてマルチショット長ビデオ生成を定式化するエージェントフレームワークである。
この三重項に対して視覚言語モデルに基づくアナライザが原因となり、2つの経路に沿ってプロンプトとメモリの両方を更新する。
StoryBenchベンチマークの実験では、代表法よりもクロスショット一貫性、即効性、撮影連続性を大幅に改善した。
論文 参考訳（メタデータ） (2026-06-15T03:56:43Z) - S2GS: Streaming Semantic Gaussian Splatting for Online Scene Understanding and Reconstruction [57.07346645250984]
Streaming Semantic Gaussian Splatting (S2GS) は厳密に因果的かつ漸進的な3D Gaussianセマンティックフィールドフレームワークである。
将来のフレームを活用せず、歴史的フレームを再処理することなく、シーンの幾何学、外観、インスタンスレベルのセマンティクスを継続的に更新する。
S2GSは、ジョイントリコンストラクションとアンダーホールドのベンチマークにおいて、強いオフラインベースラインをマッチまたは上回る。
論文 参考訳（メタデータ） (2026-03-15T05:48:55Z) - LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory [97.14005794889134]
提案するLoGeRは,高密度な3次元再構成を,後最適化なしで極めて長いシーケンスに拡張する新しいアーキテクチャである。
LoGeRはビデオストリームをチャンクで処理し、高忠実度なチャンク内推論に強力な双方向の事前処理を活用する。
このメモリアーキテクチャにより、LoGeRは128フレームのシーケンスでトレーニングでき、推論中に数千フレームまで一般化できる。
論文 参考訳（メタデータ） (2026-03-03T18:55:37Z) - Communication-Inspired Tokenization for Structured Image Representations [74.17163003465537]
COMiT(Communication inspired Tokenization)は、構造化された視覚トークンシーケンスを学習するためのフレームワークである。
セマンティックアライメントが基盤となる一方で、解釈可能なオブジェクト中心のトークン構造を誘導するためには、注意的なシーケンシャルトークン化が重要であることを示す。
論文 参考訳（メタデータ） (2026-02-24T09:53:50Z) - ReCon-GS: Continuum-Preserved Gaussian Streaming for Fast and Compact Reconstruction of Dynamic Scenes [41.108974064267436]
ReCon-GSは、高忠実なオンライン動的シーン再構築とリアルタイムレンダリングを可能にするストレージ対応フレームワークである。
本稿では,ReCon-GSがトレーニング効率を約15%向上し,FVV合成品質が向上することを示す。
同等のレンダリング品質では、ReCon-GSは最先端の方法と比較して、メモリ要求を50%以上削減する。
論文 参考訳（メタデータ） (2025-09-29T06:23:47Z) - DIFFVSGG: Diffusion-Driven Online Video Scene Graph Generation [61.59996525424585]
DIFFVSGGはオンラインのVSGGソリューションで、このタスクを反復的なシーングラフ更新問題とみなしている。
オブジェクト分類の復号化、境界ボックス回帰、グラフ生成の3つのタスクを1つの共有特徴埋め込みを用いて統合する。
DIFFVSGGはさらに、後続のフレームの予測が過去のフレームの結果をLCMの条件入力として活用する継続的時間的推論を促進する。
論文 参考訳（メタデータ） (2025-03-18T06:49:51Z) - UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳（メタデータ） (2024-02-12T19:39:26Z) - Intensity Profile Projection: A Framework for Continuous-Time
Representation Learning for Dynamic Networks [50.2033914945157]
本稿では、連続時間動的ネットワークデータのための表現学習フレームワークIntensity Profile Projectionを提案する。
このフレームワークは3つの段階から構成される: 対の強度関数を推定し、強度再構成誤差の概念を最小化する射影を学習する。
さらに、推定軌跡の誤差を厳密に制御する推定理論を開発し、その表現がノイズに敏感な追従解析に利用できることを示す。
論文 参考訳（メタデータ） (2023-06-09T15:38:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。