論文の概要: EventVGGT: Exploring Cross-Modal Distillation for Consistent Event-based Depth Estimation
- arxiv url: http://arxiv.org/abs/2603.09385v1
- Date: Tue, 10 Mar 2026 08:57:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-11 15:25:24.190385
- Title: EventVGGT: Exploring Cross-Modal Distillation for Consistent Event-based Depth Estimation
- Title（参考訳）: EventVGGT: 一貫性のあるイベントベース深さ推定のためのクロスモーダル蒸留の探索
- Abstract要約: EventVGGTは、イベントストリームをコヒーレントなビデオシーケンスとして明示的にモデル化する、新しいフレームワークである。
既存の手法を一貫して上回り、絶対平均深度を30m以上53%以上下げる。
また、未確認のDENSEとMVSECデータセットに対して、堅牢なゼロショットエラーを示す。
- 参考スコア（独自算出の注目度）: 24.595306617729012
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Event cameras offer superior sensitivity to high-speed motion and extreme lighting, making event-based monocular depth estimation a promising approach for robust 3D perception in challenging conditions. However, progress is severely hindered by the scarcity of dense depth annotations. While recent annotation-free approaches mitigate this by distilling knowledge from Vision Foundation Models (VFMs), a critical limitation persists: they process event streams as independent frames. By neglecting the inherent temporal continuity of event data, these methods fail to leverage the rich temporal priors encoded in VFMs, ultimately yielding temporally inconsistent and less accurate depth predictions. To address this, we introduce EventVGGT, a novel framework that explicitly models the event stream as a coherent video sequence. To the best of our knowledge, we are the first to distill spatio-temporal and multi-view geometric priors from the Visual Geometry Grounded Transformer (VGGT) into the event domain. We achieve this via a comprehensive tri-level distillation strategy: (i) Cross-Modal Feature Mixture (CMFM) bridges the modality gap at the output level by fusing RGB and event features to generate auxiliary depth predictions; (ii) Spatio-Temporal Feature Distillation (STFD) distills VGGT's powerful spatio-temporal representations at the feature level; and (iii) Temporal Consistency Distillation (TCD) enforces cross-frame coherence at the temporal level by aligning inter-frame depth changes. Extensive experiments demonstrate that EventVGGT consistently outperforms existing methods -- reducing the absolute mean depth error at 30m by over 53\% on EventScape (from 2.30 to 1.06) -- while exhibiting robust zero-shot generalization on the unseen DENSE and MVSEC datasets.
- Abstract（参考訳）: イベントカメラは、高速な動きや極端な照明に優れた感度を提供し、イベントベースの単眼深度推定は、困難な状況下での堅牢な3D知覚に有望なアプローチである。
しかし、深度アノテーションの不足により、進行が著しく妨げられている。
近年のアノテーションのないアプローチは、Vision Foundation Models (VFM) から知識を抽出することでこれを緩和するが、重要な制限は持続する:イベントストリームを独立したフレームとして処理する。
事象データの本質的にの時間的連続性を無視して、これらの手法はVFMに符号化された豊富な時間的先行性を活用することができず、最終的に時間的に矛盾し、精度の低い深度予測をもたらす。
これを解決するために、イベントストリームをコヒーレントなビデオシーケンスとして明示的にモデル化する新しいフレームワークであるEventVGGTを紹介する。
我々の知る限り、我々は視覚幾何学接地変換器(VGGT)から時空間および多視点幾何学的先駆体を初めてイベントドメインに蒸留した。
これを総合的な三段階蒸留戦略により達成する。
(i)CMFMは、RGBとイベント特徴を融合させて出力レベルのモダリティギャップを橋渡しし、補助深度予測を生成する。
(二)時空間蒸留(STFD)は、VGGTの時空間表現を特徴レベルで蒸留する。
三 時間的一貫性蒸留(TCD)は、フレーム間の深さ変化を整合させることにより、時間レベルでのクロスフレームコヒーレンスを強制する。
大規模な実験では、EventVGGTは既存のメソッドを一貫して上回り、EventScape(2.30から1.06まで)で絶対平均深度誤差を53倍以上削減し、未確認のDENSEとMVSECデータセットで堅牢なゼロショットの一般化を示している。
関連論文リスト
- FATE: Pillar Encoding and Frequency-Aware Training for Event-Based Object Detection [0.0]
イベントカメラは、高速かつ高ダイナミックレンジのシナリオに固有の利点を提供する。
現在のアプローチでは、蓄積ウィンドウを固定時間サブビンに分割する。
本稿では,新しい空間的枠組みを基盤とした統合フレームワークであるFATEを提案する。
論文 参考訳（メタデータ） (2026-06-15T22:32:09Z) - Rethinking Event-Based Object Dtection through Representation-Level Temporal Aggregation and Model-Level Hypergraph Reasoning [65.08890312027314]
イベントカメラはマイクロ秒レベルの時間分解能、低レイテンシ、高ダイナミックレンジを提供する。
Event Dual Temporal-Relational Aggregation Detector (Ev-DTAD)は、表現レベルの時間エンコーディングとモデルレベルの時間-ハイパーグラフ推論を統合する。
Ev-DTADは、コンパクトな時間的表現と時間的ハイパーグラフの特徴的推論の相補性を検証し、競争精度と効率のトレードオフを実現する。
論文 参考訳（メタデータ） (2026-05-09T09:20:34Z) - RAFT-MSF++: Temporal Geometry-Motion Feature Fusion for Self-Supervised Monocular Scene Flow [51.43025173196566]
単眼のシーンフロー推定は画像列から高密度な3次元動きを復元することを目的としている。
RAFT-MSF++は,時間的特徴を融合して深度とシーンフローを推定する自己教師型マルチフレームフレームワークである。
実験の結果、RAFT-MSF++はKITTI Scene Flowベンチマークで24.14%のSF-allを達成した。
論文 参考訳（メタデータ） (2026-04-21T11:32:49Z) - Towards Video Anomaly Detection from Event Streams: A Baseline and Benchmark Datasets [71.53287557600177]
イベントベースの異常検出を統一研究の方向性として確立するための第一歩を踏み出す。
まず、同期イベントとRGB記録を特徴とする、ビデオ異常検出のための複数のイベントストリームベースのベンチマークを構築した。
次に,EVent中心のビデオ異常検出フレームワークであるEWADを提案する。
論文 参考訳（メタデータ） (2026-03-26T03:33:33Z) - Scaling Dense Event-Stream Pretraining from Visual Foundation Models [112.44243079477137]
我々は,視覚基礎モデル(VFM)を蒸留して,イベント表現の境界を大規模に推し進める,新しい自己教師型事前学習手法をローンチする。
我々は、クロスモーダルアライメントを増幅するために、広範に同期された画像イベントコレクションをキュレートする。
VFMによって提供されるセマンティックな構造にアライメントの目的を拡張し、より広い受容領域とより強い監督力を示す。
論文 参考訳（メタデータ） (2026-03-04T12:06:09Z) - Temporal-Guided Visual Foundation Models for Event-Based Vision [40.997738547677066]
イベントカメラは、挑戦的な環境でのビジョンタスクにユニークなアドバンテージを提供する。
画像データに基づいて事前訓練されたモダンなVisual Foundation Modelを活用する可能性については、イベントベースのビジョンでは未検討のままである。
我々は、Visual Foundation Modelsと時間的コンテキスト融合を統合する新しいフレームワークであるTGVFM(TemporalGuided-FM)を提案する。
論文 参考訳（メタデータ） (2025-11-09T05:45:25Z) - Depth AnyEvent: A Cross-Modal Distillation Paradigm for Event-Based Monocular Depth Estimation [47.90167568304715]
イベントカメラは、スパースで高時間解像度の視覚情報をキャプチャする。
深層深度アノテーションによる大規模データセットの欠如は、イベントデータから学習に基づく単眼深度推定を妨げている。
ビジョンファウンデーションモデル(VFM)を利用した高密度プロキシラベル生成のためのクロスモーダル蒸留パラダイムを提案する。
我々の戦略は、RGBフレームに空間的に整合したイベントストリーム、利用可能なオフザシェルフの簡単なセットアップ、大規模VFMの堅牢性を活用することが必要である。
論文 参考訳（メタデータ） (2025-09-18T17:59:51Z) - HyPCV-Former: Hyperbolic Spatio-Temporal Transformer for 3D Point Cloud Video Anomaly Detection [1.475698751142657]
HyV-Formerは、複数の異常カテゴリにわたる最先端の異常検出を実現し、TIMoデータセットは7%改善され、DADデータセットは5.6%向上した。
論文 参考訳（メタデータ） (2025-08-01T09:50:20Z) - SuperFlow++: Enhanced Spatiotemporal Consistency for Cross-Modal Data Pretraining [62.433137130087445]
SuperFlow++は、連続するカメラペアを使用して事前トレーニングと下流タスクを統合する新しいフレームワークである。
SuperFlow++は様々なタスクや運転条件で最先端のメソッドよりも優れています。
強力な一般化性と計算効率により、SuperFlow++は、自動運転におけるデータ効率の高いLiDARベースの認識のための新しいベンチマークを確立する。
論文 参考訳（メタデータ） (2025-03-25T17:59:57Z) - Temporal Residual Guided Diffusion Framework for Event-Driven Video Reconstruction [23.493813870675197]
イベントベースのビデオ再構成は、ハイダイナミックレンジや高速モーションキャプチャ機能など、そのアドバンテージから注目を集めている。
現在の方法では、連続したイベントフローからの時間情報の抽出が優先され、シーン内の低周波テクスチャの特徴に過度に強調される。
本稿では,時間的・周波数的イベント前処理を効果的に活用する新しい手法である時間的残留ガイド拡散フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-15T11:48:57Z) - On Robust Cross-View Consistency in Self-Supervised Monocular Depth Estimation [56.97699793236174]
本論文では,2種類の堅牢なクロスビュー整合性について検討する。
深度特徴空間と3次元ボクセル空間の時間的コヒーレンスを自己教師付き単眼深度推定に利用した。
いくつかのアウトドアベンチマークの実験結果から,本手法は最先端技術より優れていることが示された。
論文 参考訳（メタデータ） (2022-09-19T03:46:13Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。