論文の概要: Generative Event Pretraining with Foundation Model Alignment

• arxiv url: http://arxiv.org/abs/2603.23032v1
• Date: Tue, 24 Mar 2026 10:10:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.426877
• Title: Generative Event Pretraining with Foundation Model Alignment
• Title（参考訳）: ファンデーションモデルアライメントによる生成イベント事前トレーニング
• Authors: Jianwen Cao, Jiaxu Xing, Nico Messikommer, Davide Scaramuzza,
• Abstract要約: イベントカメラは、高速な動きと難解な照明条件下で、堅牢な視覚信号を提供する。 ユニークなセンシング特性とラベル付きデータの制限により、イベントベースのビジュアルファンデーションモデルのトレーニングが困難になる。 GEP(Generative Event Pretraining)は,インターネット規模の画像データセットから学習したセマンティック知識をイベントデータに転送する2段階のフレームワークである。
• 参考スコア（独自算出の注目度）: 25.86429472344715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras provide robust visual signals under fast motion and challenging illumination conditions thanks to their microsecond latency and high dynamic range. However, their unique sensing characteristics and limited labeled data make it challenging to train event-based visual foundation models (VFMs), which are crucial for learning visual features transferable across tasks. To tackle this problem, we propose GEP (Generative Event Pretraining), a two-stage framework that transfers semantic knowledge learned from internet-scale image datasets to event data while learning event-specific temporal dynamics. First, an event encoder is aligned to a frozen VFM through a joint regression-contrastive objective, grounding event features in image semantics. Second, a transformer backbone is autoregressively pretrained on mixed event-image sequences to capture the temporal structure unique to events. Our approach outperforms state-of-the-art event pretraining methods on a diverse range of downstream tasks, including object recognition, segmentation, and depth estimation. Together, VFM-guided alignment and generative sequence modeling yield a semantically rich, temporally aware event model that generalizes robustly across domains.
• Abstract（参考訳）: イベントカメラは、マイクロ秒のレイテンシと高いダイナミックレンジのおかげで、高速な動きと照明条件が困難な状況下で、堅牢な視覚信号を提供する。 しかし、そのユニークな知覚特性とラベル付きデータの制限により、タスク間で伝達可能な視覚的特徴の学習に不可欠であるイベントベースの視覚基礎モデル(VFM)のトレーニングが困難になる。 この問題に対処するため、GEP(Generative Event Pretraining)は、インターネットスケールの画像データセットから学んだセマンティック知識をイベントデータに転送し、イベント固有の時間的ダイナミクスを学習する2段階のフレームワークである。 第一に、イベントエンコーダは、イメージセマンティクスにおけるイベントの特徴を基礎にして、共同回帰コントラスト目的によって凍結されたVFMに整列する。 第2に、トランスフォーマーバックボーンは、混合イベントイメージシーケンス上で自己回帰的に事前訓練され、イベント固有の時間構造をキャプチャする。 提案手法は,物体認識,セグメンテーション,深度推定など,さまざまな下流タスクにおいて,最先端のイベント事前学習手法より優れている。 共に、VFM誘導アライメントと生成シーケンスモデリングは、ドメインをまたいで堅牢に一般化する意味的にリッチで時間的に認識されたイベントモデルをもたらす。

関連論文リスト

• Scaling Dense Event-Stream Pretraining from Visual Foundation Models [112.44243079477137]
  我々は,視覚基礎モデル(VFM)を蒸留して,イベント表現の境界を大規模に推し進める,新しい自己教師型事前学習手法をローンチする。 我々は、クロスモーダルアライメントを増幅するために、広範に同期された画像イベントコレクションをキュレートする。 VFMによって提供されるセマンティックな構造にアライメントの目的を拡張し、より広い受容領域とより強い監督力を示す。
  論文  参考訳（メタデータ） (2026-03-04T12:06:09Z)
• Temporal-Guided Visual Foundation Models for Event-Based Vision [40.997738547677066]
  イベントカメラは、挑戦的な環境でのビジョンタスクにユニークなアドバンテージを提供する。 画像データに基づいて事前訓練されたモダンなVisual Foundation Modelを活用する可能性については、イベントベースのビジョンでは未検討のままである。 我々は、Visual Foundation Modelsと時間的コンテキスト融合を統合する新しいフレームワークであるTGVFM(TemporalGuided-FM)を提案する。
  論文  参考訳（メタデータ） (2025-11-09T05:45:25Z)
• GET: Group Event Transformer for Event-Based Vision [82.312736707534]
  イベントカメラは、注目を集めている新しいニューロモルフィックセンサーの一種である。 我々は、グループイベントトランスフォーマー(GET)と呼ばれる、イベントベースのビジョンのための新しいグループベースのビジョントランスフォーマーバックボーンを提案する。 GETは特徴抽出プロセスを通して空間的インフォメーションから時間的極性情報を分離する。
  論文  参考訳（メタデータ） (2023-10-04T08:02:33Z)
• EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
  EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。 NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。 各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T21:08:41Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• Event Voxel Set Transformer for Spatiotemporal Representation Learning on Event Streams [19.957857885844838]
  イベントカメラは、シーンをスパースで非同期なイベントストリームとして記録するニューロモルフィックな視覚センサである。 本稿では,イベントストリーム上での効率的な表現学習のためのイベントVoxel Set Transformer (EVSTr) という注目度モデルを提案する。 実験によると、EVSTrは低モデルの複雑さを維持しながら最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-03-07T12:48:02Z)
• Masked Event Modeling: Self-Supervised Pretraining for Event Cameras [41.263606382601886]
  Masked Event Modeling (MEM) はイベントの自己組織化フレームワークである。 MEMは、記録されていないイベントのニューラルネットワークを事前トレーニングする。 本手法は3つのデータセットにまたがって最先端の分類精度に達する。
  論文  参考訳（メタデータ） (2022-12-20T15:49:56Z)
• Bridging the Gap between Events and Frames through Unsupervised Domain Adaptation [57.22705137545853]
  本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。 生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。 われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
  論文  参考訳（メタデータ） (2021-09-06T17:31:37Z)
• Event-LSTM: An Unsupervised and Asynchronous Learning-based Representation for Event-based Data [8.931153235278831]
  イベントカメラは、アクティビティ駆動のバイオインスパイアされたビジョンセンサーです。 LSTM層からなる教師なしオートエンコーダアーキテクチャであるEvent-LSTMを提案する。 また、最先端のイベントをデノージングプロセスにメモリを導入することで、デノージングを前進させます。
  論文  参考訳（メタデータ） (2021-05-10T09:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。